zan/Qwen3.6-27B-DFlash-ja
Qwen3.6-27B-DFlash-ja
Qwen/Qwen3.6-27B (multimodal Qwen3.5) ファミリ向けの DFlash 互換 draft model です。具体的には `AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS` を target にした投機的デコーディングで、日本語タスクをもう少し速く回せないか、というお試しで作ってみました。
`z-lab/Qwen3.6-27B-DFlash` を初期重みとして英語 + 日本語データで追加学習しています。
その結果、日本語タスクの acceptance length が改善しました。
DFlash (An et al., arXiv:2602.06036) の block-diffusion drafter です。Qwen3.6-27B ファミリを target にした投機的デコーディングで使えます。vLLM の `--speculative-config method=dflash` でそのまま動作します。
Installation
uv pip install vllm
uv pip install -U vllm --torch-backend=auto --extra-index-url https://wheels.vllm.ai/nightly使い方 (vLLM)
vllm serve AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS \
--tokenizer Qwen/Qwen3.6-27B \
--tensor-parallel-size 1 \
--gpu-memory-utilization 0.85 \
--max-num-seqs 4 \
--enable-chunked-prefill \
--attention-backend flash_attn \
--quantization modelopt \
--dtype auto \
--trust-remote-code \
--speculative-config '{"method":"dflash","model":"zan/Qwen3.6-27B-DFlash-ja","num_speculative_tokens":10}'drafter は auto_map: {"AutoModel": "dflash.DFlashDraftModel"} 経由でロードされるため、--trust-remote-code 必須です。
学習レシピ (概要)
ベンチマーク
論文に倣い num_speculative_tokens=10, max_tokens=512, concurrency=1 で測定しました。τ = mean accept length (=acceptance_rate × 10 + 1)、tok/s は wall-clock スループットの中央値です。
日本語 (13 prompts)
JP では 13 prompt 中 12 prompt で z-lab を上回り、残り 1 prompt も -5% 以内のズレに収まっています。
英語 (13 prompts)
英語ベンチも 13 prompt 中 13 で同等以上、特に code / math 領域で安定して上回ります。
enreasoning001 の単独計測
日本語に振り切ったレシピだと、論理推論系の単一プロンプト (en_reason_001) で z-lab に対して -31% (38.41 tok/s vs 55.63 tok/s) まで落ちることが過去の実験で観測されていました。本モデルでは teacher mismatch fix によって -3.5% (53.67 tok/s vs 55.63 tok/s) までほぼ回帰が消えています。「日本語化のために英語推論を捨てる」必要がなくなっています。
⚠ ベンチマーク条件について
z-lab 列は 本環境で再測定した値 であり、z-lab がモデルカードで公開している τ とは別物です。
NVFP4 量子化と subset 取得の影響で、τ の絶対値は z-lab 公式 (理想化された bf16 環境) より低めに出ています。
既知の制約
- target は `AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS` を想定しています。アーキテクチャ互換な他の Qwen3.6-27B 派生モデル (bf16 / 他の NVFP4 派生など) を target にしても動作はしますが、本モデルは XS target の hidden 分布に合わせて学習しているため、acceptance rate は劣化する見込みで、報告値の利得は再現されない可能性があります。
- subset での bench であり、
gsm8k/humanevalなどの full-set bench は未実施です。
ライセンス
Apache 2.0 (上流 Qwen3.6 / z-lab 継承)。
謝辞
モデル・コード
- 上流 z-lab/Qwen3.6-27B-DFlash の事前学習を継承
- target / tokenizer の Qwen/Qwen3.6-27B (Alibaba Qwen team)
- 推論時 target の AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-Multimodal-NVFP4-MTP-XS (AEON-7 による NVFP4-modelopt 量子化)
- DFlash 論文: An et al., arXiv:2602.06036
- 学習レシピは vllm-project/speculators を参考
学習データ
- 英語 chat (5,003): HuggingFaceH4/ultrachat_200k のプロンプトを target で再生成
- 日本語コーディング (2,000): llm-jp/Synthetic-JP-EN-Coding-Dataset のプロンプトを target で再生成
- 日本語 chat (10,306): データセット (jpgeneral / jpcode / jp_long / tool 等のカテゴリで構成)