CoolFace
Modelpublic

nigo1973/qwen3-8b-climate-japanese

sourceHugging Faceapache-2.0updated 10mo agoView on Hugging Face
0likes167downloads
Model Card

Qwen3-8B Climate Change Japanese Fine-tuned Model

CONSEO気候変動レポートを使用してファインチューニングされた、気候変動に特化した日本語LLMです。

Model Description

  • —Base Model: Qwen/Qwen3-8B
  • —Fine-tuning Method: QLoRA (8-bit quantization)
  • —Training Data: CONSEO Climate Change Report (Japanese PDF document)
  • —Language: Japanese
  • —Domain: Climate Change, Earth Observation, Environmental Science

Training Details

ParameterValue
LoRA rank (r)16
LoRA alpha16
LoRA dropout0
Learning rate2e-4
Batch size1
Gradient accumulation steps8
Epochs3
Max sequence length2048
Training time~69 minutes
GPUNVIDIA RTX 3090 (24GB)

Evaluation Results

MetricBase ModelFine-tunedImprovement
BLEU0.0%91.93%+91.93pp
ROUGE-113.92%37.12%+166.6%
ROUGE-22.27%31.83%+1304.0%
ROUGE-L13.54%36.88%+172.5%
BERTScore F163.50%76.94%+21.2%

⚠️ Important: Prompt Format

このモデルはAlpaca形式でファインチューニングされています。正しい回答を得るには、以下のプロンプト形式を使用してください：

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
[質問をここに入力]

### Input:


### Response:

デフォルトのQwen3チャットテンプレート（ChatML形式）を使用すると、期待通りの回答が得られない場合があります。

Usage

Ollama Hub（推奨）

最も簡単な方法は、Ollama Hubから直接使用することです：

bash
# インストール
ollama pull nigo1973/qwen3-8b-climate

# 実行
ollama run nigo1973/qwen3-8b-climate "SWOTについて教えてください。"

With Transformers

python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("nigo1973/qwen3-8b-climate-japanese")
tokenizer = AutoTokenizer.from_pretrained("nigo1973/qwen3-8b-climate-japanese")

prompt = "気候変動についてわかりやすく説明してください。"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

GGUF版（Ollama / llama.cpp用）

Q4KM量子化版のGGUFファイル（約5GB）も公開しています。

⚠️ 重要: Thinking Modeについて

GGUFファイルにはQwen3のデフォルトチャットテンプレート（ChatML形式）が埋め込まれています。 GGUFを直接Ollamaで読み込むと、Thinking Mode（`<think>`タグ）が有効になり、回答の前に長い思考プロセスが出力されます。

これを避けるには、以下の方法を使用してください：

  1. 1.推奨: Ollama Hubから直接使用（テンプレート設定済み）
bash
   ollama pull nigo1973/qwen3-8b-climate
  1. 1.GGUFを使用する場合: 下記のModelfileを作成してテンプレートを上書き
ダウンロード
bash
# Hugging Face CLIでダウンロード
huggingface-cli download nigo1973/qwen3-8b-climate-japanese qwen3-8b-climate-Q4_K_M.gguf --local-dir .
Ollamaでの使用（Modelfile必須）
  1. 1.Modelfileを作成:
dockerfile
FROM ./qwen3-8b-climate-Q4_K_M.gguf

TEMPLATE """Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{{ .Prompt }}

### Input:


### Response:
{{ .Response }}"""

PARAMETER stop "### Instruction:"
PARAMETER stop "### Input:"
PARAMETER temperature 0.7
PARAMETER num_predict 256
  1. 1.モデルを作成・実行:
bash
ollama create qwen3-8b-climate -f Modelfile
ollama run qwen3-8b-climate "SWOTについて教えてください。"
llama.cppでの使用
bash
./llama-simple -m qwen3-8b-climate-Q4_K_M.gguf \
  -p "Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
SWOTについて教えてください。

### Input:


### Response:" \
  -n 256
LM Studioでの使用
  1. 1.GGUFファイルをダウンロードしてLM Studioにインポート
  2. 2.重要: Chat Template設定で「Manual」を選択
  3. 3.以下のプロンプトテンプレートを設定：

System Prompt: あなたは気候変動に関する専門知識を持つAIアシスタントです。

Prompt Template:

Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{{prompt}}

### Input:


### Response:

Stop Tokens: ### Instruction:, ### Input:

Sample Outputs

Question: 雪氷面についてわかりやすく説明してください。

Base Model (before fine-tuning):

雪氷面とは、雪や氷が積もった地面のことです。冬になると、雪が降って地面が白くなります...

Fine-tuned Model ✅:

たとえば雪氷面は、そのアルベド（太陽放射の波長全域に対する反射率）が大きいのに対して雪氷がない陸面や海面のアルベドは小さいため、温暖化により雪氷が融けると地球はより太陽放射エネルギーを吸収しやすくなります。

Question: 地球デジタルツインエンジンとは何でしょうか？

Base Model (before fine-tuning):

The Earth Digital Twin Engine is a system that creates a digital twin of the Earth...

Fine-tuned Model ✅:

A) 地球デジタルツインの構成地球デジタルツインを実現するためには、「地球デジタルツインエンジン」「データレイク」「ユーザーインターフェース」の3 つの要素が必要です。「地球デジタルツインエンジン」は、地球デジタルツインの中核部分かつ、地球デジタルツイン上のデータを統合・再構成させるための技術であり、各種観測データの処理や解析、シミュレーション・予測を行います。

Limitations

  • —This model is fine-tuned specifically for climate change topics in Japanese
  • —Responses may be biased towards the training data (CONSEO Climate Change Report)
  • —For general-purpose tasks, the base Qwen3-8B model may perform better

License

This model is released under the Apache 2.0 license, following the base Qwen3-8B model license.

Acknowledgments

  • —Base model: Qwen Team
  • —Training framework: Unsloth
  • —Training data: CONSEO Climate Change Report

Citation

If you use this model, please cite:

bibtex
@misc{qwen3-8b-climate-japanese,
  author = {nigo1973},
  title = {Qwen3-8B Climate Change Japanese Fine-tuned Model},
  year = {2024},
  publisher = {Hugging Face},
  howpublished = {\url{https://huggingface.co/nigo1973/qwen3-8b-climate-japanese}}
}