team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GGUF

Tanuki-8B-dpo-v1.0-GGUF

概要

GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMであるweblab-GENIAC/Tanuki-8B-dpo-v1.0のGGUF量子化モデルです。 imatrixの計算にはWikitext-JAを用いています。

注意

このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があり、性能低下が発生している恐れがあります。 そのため、他の形式の量子化モデルの利用を推奨いたします。

• —AWQ 4bit量子化
• —GPTQ 4bit量子化
• —GPTQ 8bit量子化

モデルに関する詳細については元モデル)をご確認ください。