Modelpublic

tchbcb/sami-27b-mixbit

sourceHugging Faceapache-2.0updated 9d agoView on Hugging Face

0likes220downloads

Model Card

samai-27b-mixbit (Q5KM mixed-precision GGUF)

samai-27b（Qwen/Qwen3.8-27B 手术版：PonderNet 停机位点 L35/39/43/47/51/55/59/63 + dMoE 8 专家 + MTP）经 QLoRA SFT 后，按 mixbit 静态化管线产出的 llama.cpp 混合精度权重。

组件	处理
PonderNet (L35..63 停机循环)	展开：`ponder_forced_steps=1` 单遍语义，halter/router 丢弃
dMoE 8 专家 (仅 L35..63)	按校准激活频率 f_i 加权合并为稠密 FFN（8×2176 → 17408，与稠密层同形）
MTP 模块	丢弃（推理旁路；训练时 mtplossweight=0）
视觉塔 (460M)	丢弃（纯文本）
LoRA SFT (r16 α32, 124.66M)	已合并进基座权重

等价稠密模型 ≙ Qwen3_5ForCausalLM（48 linearattention + 16 fullattention，hidden 5120），可直接用上游 llama.cpp 载入。

文件	说明
`samai-27b-mixbit-Q5_K_M.gguf`	主权重（含 Q6_K embedding）
`sft-adapter/`（见 samai-27b 仓）	SFT 训练侧信息

bash

llama-server -m samai-27b-mixbit-Q5_K_M.gguf --host 0.0.0.0 --port 8100 -ngl 999 -c 131072 -fa

OpenAI 兼容端点 /v1/chat/completions。