AcroYAMALEX/acro-yamalex-llmjp-4-math-tir

acro-yamalex-llmjp-4-math-tir（データセット）

日本語数学推論のためのTool-Integrated Reasoning (TIR) データセットです。 自然言語による推論とPythonコード実行を組み合わせたマルチターン形式のデータセットで、OpenWebMathから抽出・生成した問題に対してDeepSeek V3を用いてTIR形式の解法を生成しました。

本データセットはFT-LLM2026コンペティションにおける我々のアプローチの一部として構築されました。

データセット概要

データ作成手法

OpenMathReasoning（NVIDIAのAIMO-2優勝手法）の枠組みに基づき、以下の手順で作成しました。

Step 1: 問題の作成（OpenWebMathからの抽出）

OpenWebMathから日本の高校数学レベルに相当する問題素材を得るため、以下のフィルタリングを実施しました。

1. 1.ドメインフィルタ: 数学関連ドメイン（math.stackexchange.com, artofproblemsolving.com等）のみを選定
2. 2.トピックフィルタ: DeepSeek V3で各ドキュメントの数学トピックを分類し、高校数学に関連するトピック（代数、幾何、微積分等）を抽出
3. 3.カリキュラムフィルタ: 日本の高校数学カリキュラム（数学I/II/III/A/B/C）との適合性を判定
4. 4.問題生成: フィルタ通過ドキュメントから2種類の問題を生成
5. 5.式の変形問題: 数式の導出過程を問う問題
6. 6.数値計算問題: 具体的な数値を求める問題

Step 2: TIR解法の生成

問題に対してDeepSeek V3を用い、TIR形式の解法を生成しました。プロンプトではPythonコードを用いた段階的な推論を指示し、<think>タグ内に思考過程、コードブロック内にPythonコードを記述させています。

Step 3: Pythonコード実行

生成されたコードブロックをサンドボックス環境で実行し、出力結果を` `output `ブロックとしてモデルにフィードバックしました。実行エラーが発生した場合もエラーメッセージをフィードバックし、モデルに修正を促しています。

Step 4: マルチターンループ

最大5回までコード実行とフィードバックを繰り返し、最終回答（\boxed{}形式）が生成されるまで対話を継続しました。

Step 5: 回答検証

生成された最終回答を元の正解と以下の3段階で照合しました。

Step 6: 品質フィルタ

正解したデータに対して、コードの新規性（novelty）と重要性（significance）を評価し、低品質なデータを除外しました。

データフォーマット

各行は以下のJSON構造を持つJSONLファイルです。TIRデータはマルチターン対話形式で、コード実行結果を含みます。

{
  "messages": [
    {
      "role": "system",
      "content": "あなたは「自然言語の推論」と「Pythonコードの実行」を組み合わせて数学問題を解くアシスタントです。..."
    },
    {
      "role": "user",
      "content": "正の整数 a_0 に対して数列を次の漸化式で定義する..."
    },
    {
      "role": "assistant",
      "content": "<think>\nPython を使ってシミュレーションしよう。\n</think>\n```python\ndef compute_sequence(a0):\n    a = a0\n    ...\n```"
    },
    {
      "role": "user",
      "content": "```output\na_0 = 11, a_1 = 88, ...\n```"
    },
    {
      "role": "assistant",
      "content": "<think>\n結果を分析すると...\n</think>\n最終答え: $$\\boxed{42}$$"
    }
  ]
}

フィールド説明

用途

• —日本語数学推論モデルのSFT（教師あり微調整）
• —Tool-Integrated Reasoning（コード実行を伴う推論）の学習

関連リソース

参考文献

• —Ivan Moshkov et al. "AIMO-2 Winning Solution: Building State-of-the-Art Mathematical Reasoning Models with OpenMathReasoning dataset." arXiv:2504.16891, 2025.
• —Keiran Paster et al. "OpenWebMath: An Open Dataset of High-Quality Mathematical Web Text." arXiv:2310.06786, 2024.
• —DeepSeek-AI. "DeepSeek-V3 Technical Report." arXiv:2412.19437, 2024.

著者

佐々木峻・山本大輝・樋口慎・吉岡駿（アクロクエストテクノロジー株式会社）

ライセンス

MIT License