Onely7/llava-1.5-llm-jp-3.1-1.8b-instruct4

pip install torch "transformers==5.9.0" accelerate pillow requests

import requests
import torch
from PIL import Image
from transformers import AutoProcessor, LlavaForConditionalGeneration

model_id = "Onely7/llava-1.5-llm-jp-3.1-1.8b-instruct4"

# モデルを読み込む
model = LlavaForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True
).to("cuda")
model.eval()

# プロセッサーを読み込む
# プロセッサーは、テキストを処理するトークナイザと、
# 画像を処理する画像前処理器をまとめたものです。
processor = AutoProcessor.from_pretrained(
    model_id,
    backend="torchvision"
)

# 会話形式の入力を定義する
# role が "user" の発話に、画像と質問文を配置します。
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "猫は何匹いますか？"}
        ]
    }
]

# 会話形式の入力にチャットテンプレートを適用し、
# モデルが期待する形式のプロンプトを作成する
prompt = processor.apply_chat_template(
    conversation,
    add_generation_prompt=True
)

# チャットテンプレート適用後のプロンプトを確認する
print("=== チャットテンプレート適用後のプロンプト ===")
print(prompt)
print()
# === チャットテンプレート適用後のプロンプト ===
# USER: <image>
# 猫は何匹いますか？ ASSISTANT:

# 入力画像を読み込む
image_file = "http://images.cocodataset.org/val2017/000000039769.jpg"
raw_image = Image.open(requests.get(image_file, stream=True).raw).convert("RGB")

# 画像とテキストをモデルに入力できるテンソルへ変換する
inputs = processor(
    images=raw_image,
    text=prompt,
    return_tensors="pt"
).to("cuda")

# モデルに渡される入力テンソルの種類と形状を確認する
print("=== モデルに渡される入力テンソル ===")
for key, value in inputs.items():
    print(f"{key}: {value.shape}")
print()
# === モデルに渡される入力テンソル ===
# input_ids: torch.Size([1, 592])
# attention_mask: torch.Size([1, 592])
# pixel_values: torch.Size([1, 3, 336, 336])

# 推論時には勾配計算を行わず、出力トークン ID を生成する
with torch.inference_mode():
    generated_ids = model.generate(
        **inputs,
        max_new_tokens=128,
        do_sample=False
    )

# 生成結果には入力プロンプト部分も含まれるため、
# 新しく生成された応答部分だけを取り出す
generated_answer_ids = generated_ids[:, inputs.input_ids.shape[1] :]

# トークン ID をテキストに変換する
generated_texts = processor.batch_decode(
    generated_answer_ids,
    skip_special_tokens=True
)

print("=== 生成された応答 ===")
print(generated_texts[0])
# === 生成された応答 ===
# 画像には2匹の猫がいます。

[対象外] <s>
[対象外] <image> × 576
[対象]   セレクト高級家具3インチゲルメモリーフォームマットレストッパー\n

[対象外] <s> USER: <image> × 576
[対象外] 画像のバスの色は何ですか？ ASSISTANT:
[対象]   画像のバスは白と赤です。</s>

[対象外] USER: バスの後部に見える特徴は何ですか？ ASSISTANT:
[対象]   バスの背面には広告が掲示されています。</s>