CoolFace
Modelpublic

yamaTK/japanese-math-lora-3stage-60k

sourceHugging Faceapache-2.0updated 7mo agoView on Hugging Face
0likes
Model Card

japanese-math-lora-3stage-60k

LLM-JP チューニングコンテスト 2026 で使用した日本語数学問題解答用 LoRA アダプタです。

3段階パイプラインの各ステージに対応する LoRA アダプタを収録しています。

パイプライン構成

問題文 → [LLM1: Planner] → ヒント生成
       → [LLM2: Procedure] → 解法ステップ生成
       → [LLM3: Code Generator] → Python/SymPy コード生成 → 実行・回答

アダプタ一覧

ディレクトリ役割説明
llm1_planner/Planner問題文から解法ヒントを生成
llm2_procedure/Procedure Generatorヒントからステップごとの解法手順を生成
llm3_code/Code Generator解法手順から Python/SymPy コードを生成

LoRA 設定

パラメータ値
ベースモデルv4-8b-decay2m-ipt_v3.1-instruct4 (8B)
PEFTLoRA
rank (r)16
lora_alpha32
lora_dropout0.05
target_modulesqproj, kproj, vproj, oproj

学習データ

yamaTK/japanese-math-synthetic-108k のトピック別データ(Algebra, Calculus, Complex, LinearAlg, ProbStat, Sequence — 約60,000問)を使用して学習しました。