Modelpublic

nerkyor/Qwen3.5-9B-GGUF-imatrix

sourceHugging Faceapache-2.0updated 4mo agoView on Hugging Face

0likes248downloads

Model Card

Qwen3.5-9B Q4KM imatrix GGUF + Native MTP head(Lynn 本地智能体推荐版 v2)

这是 Lynn 首发本地 9B 路线 Qwen3.5-9B GGUF 量化包 v2 升级版:vendor 自带的 MTP(Multi-Token Prediction)head 完整保留,llama.cpp --spec-type draft-mtp 启用后单流 TPS +44% / thinking 长链 +144%。

定位:本地 9B,日常无限用,这次还更快。

English summary: this is Lynn's recommended Qwen3.5-9B Q4KM imatrix GGUF — v2 upgrade with vendor-native MTP head bundled. Run with llama-server --spec-type draft-mtp for +44% single-stream TPS on short outputs and +144% sustained TPS on long thinking-on reasoning. Apple/CUDA llama.cpp builds since late 2025 all support this path natively (graph_mtp for qwen3_5 model_type).

文件 / Files

文件	大小	SHA256	备注
`Qwen3.5-9B-Q4_K_M-imatrix-mtp.gguf`	5.38 GB	`0f292ba0d1058065a6624883a76a2adf00b266d07b9396ed67b155ff522e18d4`	含 15 个 MTP tensors(`mtp.fc/norm/layers.0.{mlp,self_attn,...}`),Lynn imatrix 校准 Q4KM
`imatrix.gguf`	5.0 MB	`3fdab7f5d1b59a7bb1d68b5278cbb5c8e50f03e5ed09a8b02f117186755796a8`	wikitext-2-raw 100 chunks × 512 ctx,可复现量化

v2 vs v1 区别:v1 (Qwen3.5-9B-Q4_K_M-imatrix.gguf 5.89GB) 是 2026-05 早期 convert,MTP tensors 在 convert 阶段被丢弃(0 个 mtp. tensors,427 total)。v2 用现代 llama.cpp build-cuda-sm121 重新 convert,MTP head 完整保留*(15 tensors,442 total)。同 imatrix 校准方式。

为什么 v2 升级

维度	v1(non-MTP)	v2(MTP bundled)
Total tensors	427	442(+15 MTP)
GGUF 大小	5.89 GB	5.38 GB(BPW 5.02,更紧 + MTP head ~50MB)
Spark GB10 单流 TPS(think-off,1024 cap)	32 t/s	46.16 t/s(+44%)
Spark GB10 单流 TPS(think-off,2048 cap sustained)	~32	43.81 t/s(+37%)
Spark GB10 单流 TPS(think-on,32K cap sustained)	—	78.32 t/s ⭐(+144% vs 旧 baseline)
单流 TPS(think-on,4K cap,数学题)	—	77.46 t/s

MTP 在 thinking 长链路上加速更猛(78 t/s sustained over 13K+ tokens),因为 thinking trace 的 n-gram pattern 可预测性高 → MTP head acceptance rate 60-75%。

评测摘要 / Benchmark Summary

(quality 与 v1 一致 — 量化算法相同,只是 MTP tensors 保留了。所有数字与 v1 README 同口径,Lynn 内部 thinking-on 32K 评测)

Qwen3.5-9B thinking-off(短输出 / 默认推理)

版本	MMLU 500 5-shot	GPQA Diamond 198	备注
BF16 official	77.20%	44.95%	官方 BF16 基线
Q4KM imatrix(本仓库)	76.00%	37.37%	llama.cpp,thinking off
Lynn-native W4A16 NVFP4	75.20%	42.93%	Lynn engine 端 thinking off

Qwen3.5-9B thinking-on 32K(能力上限)

版本	MMLU	GPQA Diamond	备注
Q4KM imatrix(本仓库)	92.00% (92/100), parse_fail 0	72.22% naive (143/198) / 81.71% exclpf, parsefail 23	推荐本地路线
Lynn-native W4A16 NVFP4	91.00% (91/100), parse_fail 1	56.00% naive (28/50) / 70.00% excl_pf	GPQA 当前仅 50 题样本
BF16 official	87.00% (87/100), parse_fail 1	running / pending	R6000 BF16 补测

TPS 实测 / Throughput Benchmarks

完整 single-stream decode TPS,实测自 NVIDIA GB10 Spark(sm_121),llama.cpp build-cuda-sm121 commit b1-5d44db6,2026-05-23。

v2(本仓库,MTP enabled,`--spec-type draft-mtp`)

Scenario	Cap	Tokens generated	Decode TPS	Notes
think-off 短答	1024	685	46.16	typical chat reply
think-off 中长	2048	1854	43.81	sustained essay output
think-on 数学题	4096	1410	77.46	thinking 短 + final answer
think-on 16K 归纳证明	16384	4464(自然停止)	69.00	math proof,Bayesian extension
think-on 长链 sustained	32768	13,000+	78.32	主观感受 "飞快"

v1(MS 旧版,no MTP)

Scenario	Cap	Decode TPS	来源
think-off	1024	~32 t/s	Lynn memory baseline `project_qwen35_9b_q4km_thinking_baseline_20260519`

v2 vs v1 净增益:think-off +44%,think-on +144%。

本地使用 / Local Usage

Lynn Desktop v0.80+ 自动配置。手动等价命令:

bash

modelscope download --model Merkyor/Qwen3.5-9B-GGUF-imatrix \
  Qwen3.5-9B-Q4_K_M-imatrix-mtp.gguf \
  --local_dir ~/Models/Lynn/Qwen3.5-9B/q4_k_m

llama-server \
  --model ~/Models/Lynn/Qwen3.5-9B/q4_k_m/Qwen3.5-9B-Q4_K_M-imatrix-mtp.gguf \
  --host 127.0.0.1 \
  --port 18099 \
  --ctx-size 32768 \
  --parallel 1 \
  --n-gpu-layers 999 \
  --jinja \
  --reasoning auto \
  --spec-type draft-mtp \
  --spec-draft-n-max 4

关键 flag:--spec-type draft-mtp 触发 llama.cpp 加载 MTP head 作为 self-speculative draft。不加这个 flag,MTP tensors 仍 load 但不 used,TPS 等同 v1。

OpenAI-compatible endpoint:

text

base_url = http://127.0.0.1:18099/v1
api_key  = local
model    = qwen3-5-9b-q4km-imatrix-mtp

MTP 工作原理 / How MTP Works

—主模型 (32 layers) 正常 decode 1 个 token
—MTP head (1 extra layer) 同时 predict 接下来的 n_max 个 tokens(default 4)
—下个 step,主模型 verify MTP 的 predictions:matched 的 tokens 直接接受,不 matched 的丢弃
—Accept rate 决定加速比:60-70% 时 ≈ +40-50% TPS,thinking 长链路 70-80% 时 ≈ +100%+ TPS

llama.cpp 自动处理 verify/accept/rollback,user 不感知。SSE stream 输出 token 顺序仍 deterministic,跟没用 MTP 的输出完全一致(只是更快)。

来源与集成 / Provenance

—基座 / Base: Qwen/Qwen3.5-9B(Apache-2.0,vendor 自带 MTP head)
—量化栈 / Quant stack: llama.cpp build-cuda-sm121
—convert command: convert_hf_to_gguf.py --outtype f16(bundled MTP,默认行为)
—imatrix 校准 / Calibration: wikitext-2-raw,100 chunks × 512 ctx
—量化主机 / Quantize host: NVIDIA GB10 Spark (sm_121)
—MTP credit: Multi-Token Prediction head 设计 + 训练权重均来自 Qwen 官方,Lynn 仅做 GGUF 量化保留
—Lynn 集成 / Integration: local-qwen3.5-9b-q4km-imatrix-mtp provider(Lynn client v0.80+)

License

Apache-2.0,inherits from base Qwen/Qwen3.5-9B. Re-quantized weights distributed under the same license.

Last updated: 2026-05-23. v2 MTP-bundled release. Lynn project: https://github.com/MerkyorLynn/Lynn