yamaTK/merged_dataset_final_clean_v41

mergeddatasetfinalcleanv41

English

Rule-based cleaned SFT dataset for structured output generation (JSON / YAML / XML / TOML / CSV).

Data Source

This dataset was built from competition-provided datasets only.

The cleaning pipeline loads the following source groups:

• —u-10bei (6 datasets: source ids 1-1 to 1-6)
• —daichira (3 datasets: source ids 2-1 to 2-3)

After strict filtering and sampling for v4.1, the final retained rows are from u-10bei sources (1-1 to 1-6).

Processing (What was done to original data)

merged_dataset_final_clean_v41.jsonl is generated by deterministic, rule-based preprocessing (no LLM rewriting).

Main steps:

1. 1.Merge and normalize records into a unified message format (system, user, assistant).
2. 2.Parse/validate assistant outputs by target format (CSV/JSON/YAML/XML/TOML) with rule checks.
3. 3.Remove duplicates (exact hash + near-duplicate handling in the cleaning pipeline).
4. 4.Remove extra non-structured text and malformed fenced outputs.
5. 5.Apply consistency and outlier filtering.
6. 6.Remove Approach: ... Output: style CoT prefix and keep only final output payload where applicable.
7. 7.Apply aggressive, deterministic sampling to match training constraints and budget.

Mechanical-Only Transformation Statement

• —No LLM was used to generate, rewrite, paraphrase, or synthesize training samples.
• —Transformations are implemented with deterministic Python logic (parsers, validators, hashing, filtering, sampling).
• —public_150.json was not modified during dataset construction.

Dataset Statistics (v41 file)

• —File: merged_dataset_final_clean_v41.jsonl
• —Total rows: 1000
• —Target format distribution:
• —json: 332
• —yaml: 234
• —toml: 164
• —xml: 135
• —csv: 135
• —Source ids in final file: 1-1, 1-2, 1-3, 1-4, 1-5, 1-6

Columns

Each JSONL row contains:

• —source
• —series
• —messages (chat-style list with roles/content)
• —format
• —source_format
• —complexity
• —schema
• —type
• —n_tokens

日本語

構造化出力（JSON / YAML / XML / TOML / CSV）向けSFT用に、ルールベースでクリーニングしたデータセットです。

元データ

コンペ提供データのみを使用しています。

クリーニングパイプラインでは次の系列を読み込みます。

• —u-10bei（6データセット: 1-1〜1-6）
• —daichira（3データセット: 2-1〜2-3）

ただし v4.1 の厳しめのフィルタとサンプリング後、最終的に残った行は u-10bei 系（1-1〜1-6）です。

元データに対して行った処理

merged_dataset_final_clean_v41.jsonl は、決定的なルール処理のみで生成しています（LLMによる書き換えなし）。

主な処理:

1. 1.レコードを system / user / assistant の統一形式に正規化
2. 2.出力フォーマット別（CSV/JSON/YAML/XML/TOML）に構文検証
3. 3.重複除去（完全一致ハッシュ + 近似重複処理）
4. 4.余計な説明文や不正なフェンス付き出力の除去
5. 5.整合性チェックと外れ値フィルタ
6. 6.Approach: ... Output: 形式のCoT接頭部を除去し、最終出力本体のみ保持
7. 7.学習制約に合わせた決定的サンプリング

機械的変換のみであること

• —学習データの生成・書き換え・言い換え・合成にLLMは使っていません。
• —変換はすべて、Pythonによる決定的な処理（パース・検証・ハッシュ・フィルタ・サンプリング）です。
• —データ構築時に public_150.json は変更していません。

データ統計（v41）

• —ファイル: merged_dataset_final_clean_v41.jsonl
• —総件数: 1000
• —目標フォーマット内訳:
• —json: 332
• —yaml: 234
• —toml: 164
• —xml: 135
• —csv: 135
• —最終ファイル内の source id: 1-1, 1-2, 1-3, 1-4, 1-5, 1-6

カラム

各JSONL行の主なキー:

• —source
• —series
• —messages
• —format
• —source_format
• —complexity
• —schema
• —type
• —n_tokens