CoolFace
Modelpublic

tokinasin/llm-jp-4-vl-9b-GGUF-v0.1

sourceHugging Faceupdated 25d agoView on Hugging Face
2likes969downloads
Model Card

llm-jp-4-vl-9b-GGUF-v0.1

  • —更新履歴
  • —[2026-09-03] 複数ターンの会話で HTTP 500 になる問題を修正
  • —[2026-09-03] 複数画像入力時のタイル数上限が元実装と異なる問題を修正
  • —[2026-09-03] analysis 途中の <|end|> 出力で HTTP 500 になる問題を修正 ---
  • —llm-jp/llm-jp-4-vl-9b を GGUF 形式に変換したものです。
  • —現状、パッチ 適用済みの llama.cpp を用いて実行する必要があります。
[!Warning] 当リポジトリに含まれる GGUF およびパッチは非公式のものです。<br> 不具合を発見された場合は、LLM-jp ではなく、当リポジトリの Discussions にて報告をお願いいたします。

パッチ適用

bash
git clone --branch v0.3.0 --depth 1 https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
wget https://huggingface.co/tokinasin/llm-jp-4-vl-9b-GGUF-v0.1/resolve/main/llama.cpp-llmjpvl.patch
git apply --check llama.cpp-llmjpvl.patch && git apply llama.cpp-llmjpvl.patch

# パッチ適用後、お好みの方法でビルドしてください

使用例

bash
llama-server \
  -m llm-jp-4-vl-9b-Q8_0.gguf \
  --mmproj mmproj-llm-jp-4-vl-9b-F16.gguf \
  --chat-template-kwargs '{"reasoning_effort":"low"}' \
  --jinja -c 8192
  • —Q4KM では reasoning がスキップされることが多いため、Q6_K 以上のモデルの使用を推奨いたします。

License

  • —llama.cpp-llmjpvl.patch: MIT License
  • —パッチのうち画像タイル前処理（tools/mtmd/mtmd-image.cpp の mtmd_image_preprocessor_llmjpvl）は llm-jp/llm-jp-4-vl-9b の processing_llmjpvl.py （Copyright (c) 2026 LLM-jp, Apache License 2.0）の dynamic_preprocess を C++ に移植したものです。
  • —Harmony 制御トークン直後のスペース除去は https://github.com/llm-jp/llama.cpp (MIT License) の実装を参考にしています。
  • —*.gguf: Apache License 2.0
  • —imatrix 較正用のテキストとして TFMC/imatrix-dataset-for-japanese-llm を使用させていただきました。