Modelpublic

Yuivdldk/math-model-vertex-arm-l45-g4b-lora

sourceHugging Facegemmaupdated 2mo agoView on Hugging Face

0likes5downloads

Model Card

頂點臂（difficulty-vertex arm）— Gemma-3-4B LoRA

科展研究「相對難度決定微調收益」的第三支外部老師臂。 這是倒 U 律的事前檢驗，不是一個要拿來用的模型 —— 它比基線差。

這個臂要回答什麼

先前用乾淨的難度軸（maxnew 4096、n=2538）量到：微調造成的相對損失在 pass@8 中段最重，*頂點 k\ = 4.15–4.58**。

兩個既有的外部老師臂都避開了頂點，而且離頂點近的那個傷得更重：

臂	訓練題平均 k	距頂點	Δfallback vs 基線
targeted v2（純能力牆）	0.00	4.36 桶	−4.45pp
控制臂（非牆題）	5.93	1.57 桶	−5.83pp

倒 U 律事後解釋了這個排序。本臂把訓練題壓在頂點上（平均 k=3.96），檢驗它有沒有事前預測力。

🔴 事前預測登記在生成之前（commit e792e57，2026-07-29T01:46:35Z）：

主要預測：Δfallback < −5.83pp（比控制臂更重）
沒中的定義：(a) Δfallback ≥ −5.83pp，或
            (b) 差值（頂點臂 − 控制臂）的 95% CI 上界觸及 0
                ⇒ 只能宣稱「未能區分」，不得宣稱倒 U 律被驗證

訓練資料

項目	值
題目來源	MATH train split，`p_i ∈ {2,3,4,5,6}/8`，候選 339 題
老師	deepseek-v4-pro（便宜分組 + 串流，與既有兩臂同一輸出模式）
老師驗證	Math-Verify 逐題判定，287/339 通過（84.66%），`parse_fail` 0
劑量	老師 265 + base-correct replay 265 = 530
抽樣	seed 20260727、依 `type` 分層，與控制臂同一支 builder
汙染	訓練池 ∩ 測試集 = 0（雙鍵：`idx` + `problem` 文字）
`train_data_sha256`	`c6a2990315b1491d1e27dd6aa0f4502cc0d8235b25c5e65cbf8be712218250dc`

劑量、seed、replay 池、長度上限與控制臂逐筆相同。唯一變動的是訓練題落在難度軸的哪裡。

訓練集由 build_dose_control_sft.py --arm vertex_arm 產出。同一支 builder 用控制臂的原始輸入重建，能逐位還原已落地的 d99f688c… —— 這道回歸閘門在建本臂訓練集之前先跑過，確認配方沒被改動。

配方

lr 1e-4 · epochs 1.0 · max-length 4096 · per-device 1 × grad-accum 8 · seed 42
LoRA r=16 alpha=32 dropout=0.05 · 238 個目標 module（僅 language_model）
train_loss 0.2676 · train_runtime 145s
base google/gemma-3-4b-it @ 093f9f388b31de276ce2de164bdc2081324b9767

逐字複製 targeted v2 / 控制臂的配方。training_provenance_v2.json 裡的 kind 寫 targeted_sft_v2_training，那是訓練器的固定標籤，代表「用的是 targeted v2 那套配方」，不是說這是 targeted v2 的資料。

合併已驗證：238/238 個目標張量改變，重載後仍不同，eos_token_id=[1, 106]。

評測

n=2538（MATH test L4–5）、max_new 4096、VLLM_BATCH_INVARIANT=1、 temp 0、seed 0，scorer direct-axis-balanced-box-v2.1-timeout-safe+math-verify-0.9.0。與 targeted v2 / 控制臂同一把尺（跨尺相減在本研究是禁止的）。

結果

臂	訓練題平均 k	距頂點	fallback	Δ vs 基線	exact McNemar p
基線	—	—	.6335697400	—	—
targeted v2	0.00	4.15	.5890464933	−4.45pp	1.15e−07
控制臂	5.93	1.35	.5752561072	−5.83pp	1.18e−12
頂點臂	3.96	0.19	.5736800630	−5.99pp	8.46e−13

🔴 事前判準的裁決：【未能區分】

主要終點  頂點臂 − 控制臂 = -0.16pp
          W/L 190/194   discordant 384
          95% CI [-1.65, +1.38]pp   exact McNemar p = 0.8784
          MDE(80%) = 2.16pp

(a) Δ < 0（比控制臂更重）        ✅ 是
(b) 95% CI 上界 < 0（不觸及 0）  ❌ 否

依登記檔：不得宣稱倒 U 律被驗證。只能寫成「差異方向與預測一致，但本樣本量無法排除無差異」。

單峰也未成立。 離頂點最近的頂點臂必須顯著重於另外兩臂才算數： vs targeted v2 −1.54pp（CI [−3.12, +0.04]，p=.063）、 vs 控制臂 −0.16pp（p=.878）—— 兩個都不顯著。

這個臂真正買到的是什麼

三支外部老師臂的訓練題難度從 k=0.00 掃到 5.93（涵蓋頂點）， Δ vs 基線全部落在 −4.45 ～ −5.99pp 的窄帶內。

⇒ 可辯護的宣稱：在本配方下，訓練題的難度位置對傷害量級的影響上界約 1.5pp，遠小於「有沒有做這種 SFT」的 4–6pp。

倒 U 律描述的是單一臂內部、逐題的損失分布；本臂顯示那個形狀 不能外推成「選對難度就能少傷」。這兩件事以前被混在一起講。

已知限制

—評測跨了機器重啟。先前量到的跨機器漂移 −0.61pp 大於本臂的主要終點 −0.16pp，因此該終點不可作方向性解讀（這只會讓「未能區分」更成立，不會反轉它）。
—共變量：老師解長度、題型組成、訓練日期。
—候選只有 339 題，抽 265 後自由度低。

判準分級

依本研究的三級判準，外部老師臂是負結果：SFT 於外部老師解會造成災難性遺忘，且損失與訓練題的相對難度有關。本 adapter 公開的目的是可重現性，不是拿來部署。