grapeV-ai/Muse-Glimmer-30B-assistant-GGUF

What is this?

Muse Glimmerの公式な投機的デコード用モジュールMuse-Glimmer-30B-assistantをGGUFフォーマットに変換したものです。<br> こちらのGGUFは単体ではご利用いただけません。Muse Glimmer本体のGGUFと併せて使用することで、トークン生成を高速化できます。

Note

-md このGGUFのパス --spec-type draft-dflash --spec-draft-n-max 2引数でDFlash投機的デコードが有効化されます。<br> なお、--spec-draft-n-max引数については、日本語では2~3がスイートスポットのようです。

License

Apache 2.0

Developer

Meta Superintelligence Lab