discus0434/kana-whisper-mlx-int8

kana-whisper MLX INT8

SB Intuitions の kana-whisper を Apple Silicon 向けの MLX 形式へ変換し、エンコーダーの Linear 層を INT8 へ量子化したモデル。

量子化仕様

• —元モデル：sbintuitions/kana-whisper
• —MLX：0.32.1
• —mlx-whisper：0.4.3
• —量子化方式：INT8（グループサイズ 64）
• —量子化対象：エンコーダーブロック 0〜31 の Linear 層（192 モジュール）
• —FP16 保持対象：デコーダー、トークン埋め込み層、畳み込み層、LayerNorm、その他の重みおよび活性
• —重みサイズ：1.61 GB（1,613,978,157 バイト）から 1.02 GB（1,024,194,387 バイト）へ削減（36.5% 削減）

使い方

pip install mlx-whisper==0.4.3

import mlx_whisper

result = mlx_whisper.transcribe(
    "audio.wav",
    path_or_hf_repo="discus0434/kana-whisper-mlx-int8",
    language="ja",
    task="transcribe",
    temperature=0.0,
    condition_on_previous_text=False,
)
print(result["text"])

ライセンス

MIT License。詳細は LICENSE を参照。