Cheva123/jamjuri-edge-v4-stage2-datasets

[image]

Jamjuri-Edge V4 — Stage 2 Datasets (E1 / E2 / E3)

Cleaned, deduplicated, non-thinking SFT datasets for the Jamjuri-Edge V4 Stage-2 experts.

Series: part of JamjuriEDGE (4B) — collection · series card

✦ English

Overview

Three SFT datasets used to train the Stage-2 experts of `Cheva123/Jamjuri-EDGE-Preview-100`, plus the Stage-1 curriculum mixture (data/stage1/train.parquet) that trained the shared Stage-1 parent. Every row is pre-rendered with the official Qwen3-Instruct-2507 chat template (no reasoning blocks) and carries assistant-only loss metadata. Tool traces are folded into user <tool_response>…</tool_response> turns.

Files

Schema per row: id, family, source, messages, tools, behavior_tags, difficulty, loss_tokens, processed_tokens, text. text is the fully rendered training string. processed_tokens / loss_tokens are counted with the same tokenizer used for training (Qwen3-4B-Instruct-2507).

Composition (top families)

• —E1: iotgrounding 25,939 · simpletool 17,517 · no_tool 13,880
• —E2: wordmath 7,930 · thaimath 5,403 · general_reasoning 3,225
• —E3: basicpython 14,827 · instructionalcode 10,356 · thai_code 7,651

Pipeline

1. 1.Source collection (Hermes / Glaive / When2Call / IF-multilingual / GSM8K / orca / Magicoder / HomeBench / Coder-5M / core-edge-v3 …) — full list in the per-expert build reports.
2. 2.Normalization to messages + tool-aware rendering.
3. 3.Dedup: exact + normalized-problem + MinHash-LSH (0.85).
4. 4.Quality filters: code-only policy for E3, tool-sanity for E1, Thai/EN math mix for E2.
5. 5.Official Qwen3 chat template rendering (non-thinking) + token/loss accounting.
6. 6.Certified in the Cheva dataset registry (v4-stage2-e1/e2/e3, version v1.0).

Per-expert reports: reports/E1.report.json, reports/E2.report.json, reports/E3.report.json.

Stage-1 data

data/stage1/train.parquet is the curriculum mixture used to train the shared Stage-1 parent (see parents/jamjuri-edge-v4-stage1/ in the model repo). Same schema and non-thinking rendering policy as the Stage-2 sets; per-run manifest in reports/stage1_curriculum_manifest.json.

Usage

from datasets import load_dataset
ds = load_dataset("Cheva123/jamjuri-edge-v4-stage2-datasets",
                  data_files="data/E1.parquet", split="train")
print(ds[0]["text"][:400])

✦ ภาษาไทย

ภาพรวม

ชุดข้อมูลนี้มี 3 ชุดสำหรับเทรน expert ของ Stage-2 ใน `Cheva123/Jamjuri-EDGE-Preview-100` บวกชุด curriculum ของ Stage 1 (data/stage1/train.parquet) ที่ใช้เทรน parent ร่วม

ทุกแถว render ไว้ล่วงหน้าด้วย chat template ทางการของ Qwen3-Instruct-2507 (โหมด non-thinking ไม่มีบล็อก reasoning) พร้อม metadata สำหรับคิด loss เฉพาะคำตอบของ assistant ส่วนผลลัพธ์จาก tool จะถูกพับเป็นเทิร์น user ใน <tool_response>…</tool_response>

ไฟล์

คอลัมน์ในแต่ละแถว: id, family, source, messages, tools, behavior_tags, difficulty, loss_tokens, processed_tokens, text — text คือข้อความที่ render พร้อมเทรนแล้ว ส่วนตัวเลขโทเคนนับด้วย tokenizer ตัวเดียวกับตอนเทรน (Qwen3-4B-Instruct-2507)

องค์ประกอบหลัก (ดูตาม family)

• —E1: iotgrounding 25,939 · simpletool 17,517 · no_tool 13,880
• —E2: wordmath 7,930 · thaimath 5,403 · general_reasoning 3,225
• —E3: basicpython 14,827 · instructionalcode 10,356 · thai_code 7,651

ขั้นตอนการสร้าง

1. 1.รวมข้อมูลจากหลายแหล่ง (Hermes / Glaive / When2Call / IF-multilingual / GSM8K / orca / Magicoder / HomeBench / Coder-5M / core-edge-v3 …) — รายการเต็มอยู่ในรายงานของแต่ละ expert
2. 2.ปรับข้อมูลให้อยู่ในรูป messages + render ให้รองรับ tools
3. 3.ลบข้อมูลซ้ำ: แบบตรงตัว + เทียบโจทย์ที่ normalize แล้ว + MinHash-LSH (0.85)
4. 4.กรองคุณภาพ: E3 เอาเฉพาะโค้ด · E1 ตรวจความสมเหตุสมผลของ tool · E2 คุมสัดส่วนคณิตไทย/อังกฤษ
5. 5.Render ด้วย chat template ทางการของ Qwen3 (non-thinking) + นับโทเคน/loss
6. 6.ขึ้นทะเบียนใน dataset registry ของ Cheva (v4-stage2-e1/e2/e3, version v1.0)

รายงานแยกตาม expert: reports/E1.report.json, reports/E2.report.json, reports/E3.report.json

ข้อมูล Stage-1

data/stage1/train.parquet คือชุด curriculum ที่ใช้เทรน parent ร่วมของ Stage-1 (ดู parents/jamjuri-edge-v4-stage1/ ใน model repo) — ใช้ schema และนโยบาย non-thinking ชุดเดียวกับ Stage-2 · manifest อยู่ที่ reports/stage1_curriculum_manifest.json

วิธีใช้งาน

from datasets import load_dataset
ds = load_dataset("Cheva123/jamjuri-edge-v4-stage2-datasets",
                  data_files="data/E1.parquet", split="train")
print(ds[0]["text"][:400])

โมเดลและสูตรเทรน: [`Cheva123/Jamjuri-EDGE-Preview-100`](https://huggingface.co/Cheva123/Jamjuri-EDGE-Preview-100)