CoolFace
Modelpublic

ToPo-ToPo/Qwen3.8-Flash-Next-mlx-bf16

sourceHugging Faceotherupdated 28d agoView on Hugging Face
0likes413downloads
Model Card

Qwen3.8-Flash-Next-mlx-bf16

Qwen/Qwen3.8-Flash-Next を MLX 形式へ変換したもの（bf16・非量子化）。

  • —変換元: Qwen/Qwen3.8-Flash-Next（bf16 公式重み, revision de4b8e4）
  • —変換ツール: mlx-vlm 0.6.17 / mlx 0.32.0
  • —サイズ: 331 GiB

変換コマンド

python -m mlx_vlm convert --hf-path Qwen/Qwen3.8-Flash-Next \
    --mlx-path Qwen3.8-Flash-Next-mlx-bf16 --dtype bfloat16

使い方

pip install -U mlx-vlm
python -m mlx_vlm generate --model ToPo-ToPo/Qwen3.8-Flash-Next-mlx-bf16 \
    --prompt "この画像を説明してください" --image path/to/image.jpg --max-tokens 512

推論には 355 GB 超のメモリが要る。量子化版は 4bit（111 GB）/ 8bit（200 GB）。

MTP ヘッド（mtp.*）は変換時に除外される。投機デコードに使う場合は公式 bf16 から 別途切り出すこと。