grapevine-AI/plamo-2-translate-gguf
caution!
このモデルのチャットテンプレートは2025年7月現在のllama.cppに登録されているどのテンプレートとも異なります。<br> よって、`--jinja`オプションによるカスタムテンプレート読み込み機能の使用が必須となります。<br> <details> <summary>補足</summary> なお、llama.cppはplamo2アーキテクチャのモデルにいかなる形でもチャットテンプレートを自動的に登録することはありませんが（参考・https://github.com/ggml-org/llama.cpp/pull/14718）<br> 利便性向上のため手動にてplamo-2-translateの翻訳用チャットテンプレートを登録しております。<br> ちなみに、チャットテンプレートの登録方法についてですが、ggufnewmetadata.pyの--chat-template-fileオプションを利用するのがベストプラクティスのようです。 </details> <br>
What is this?
Preferred Networksによって開発された翻訳向け特化型大規模言語モデルplamo-2-translateを日本語imatrixで量子化したものです。<br> llama.cpp-b5999によるPLaMo2アーキテクチャの修正コミットを反映しています。<br> また、一部のアーキテクチャのモデルでのimatrix計算時に「collect_imatrix: inconsistent size for blk.0.shortconv.in_proj.weight」といった警告が出現してしまいPPLが正しく計算できない問題がllama.cppには存在しており、 PLaMo2を対象とする修正は2025年8月6日現在も行われていないようです。しかしこの問題についても「-b 512」オプションによる応急処置によって対応しております（詳細）<br> なお、商用利用には制限がありますのでご注意ください。
imatrix dataset
日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
Chat template
<|plamo:op|>dataset
translation
<|plamo:op|>input lang=English
Write the text to be translated here.
<|plamo:op|>output lang=Japanese
Environment
Windows版llama.cpp-b5999を使用して量子化作業を実施しました
License
Developer
Preferred Networks
Credit
Built with PLaMo