Datasetpublic

topsky2222/glass-rag-eval

Glass Manufacturing & Furnace Technology RAG Eval v0.1 玻璃制造与炉窑技术领域的中文检索与有据问答评测基准。语料为 111 篇玻璃制造、熔窑、浮法、钢化、能源、排放与过程控制方向的英文科研论文（结构化解析产物）；评测集为 100 道中文题（80 道可回答 + 20 道语料范围外），每题附英文 gold 证据块、gold 文档/章节标注与中文参考答案。评测集构成总量：100 题（开发集 25 / 测试集 75）可回答题 80 道：概念/机理 30、数字/表格 20、方法与控制 15、技术比较 10、多文献综合 5 范围外题 20 道：用于检验检索拒答与幻觉抑制证据：gold 证据块 ID 对齐到切块索引；gold 文档以规范化小写 DOI 标识金标准质量（双人盲审，2026-08-20）评测集经两名未参与构建的评审人双人独立盲审（随机乱序、隐藏生成来源）：维度一致率 Cohen's Kappa… See the full description on the dataset page: https://huggingface.co/datasets/topsky2222/glass-rag-eval.

sourceHugging Faceotherupdated 1mo agoView on Hugging Face

0likes17downloads

Dataset Card

Glass Manufacturing & Furnace Technology RAG Eval v0.1

玻璃制造与炉窑技术领域的中文检索与有据问答评测基准。语料为 111 篇玻璃制造、熔窑、浮法、钢化、能源、排放与过程控制方向的英文科研论文（结构化解析产物）；评测集为 100 道中文题（80 道可回答 + 20 道语料范围外），每题附英文 gold 证据块、gold 文档/章节标注与中文参考答案。

评测集构成

—总量：100 题（开发集 25 / 测试集 75）
—可回答题 80 道：概念/机理 30、数字/表格 20、方法与控制 15、技术比较 10、多文献综合 5
—范围外题 20 道：用于检验检索拒答与幻觉抑制
—证据：gold 证据块 ID 对齐到切块索引；gold 文档以规范化小写 DOI 标识

金标准质量（双人盲审，2026-08-20）

评测集经两名未参与构建的评审人双人独立盲审（随机乱序、隐藏生成来源）：

维度	一致率	Cohen's Kappa
题目质量	98.0%	—（多数类占 99%，Kappa 失真）
证据充分性/范围外确认	97.0%	0.830
参考答案正确性	95.0%	0.908

—20 道范围外题经双人确认 100% 确实超出语料；
—人工判断与机器标签宽松一致率 96%~97%；
—评审发现的 7 处实质问题全部按原文修复，完整过程见随附质检报告（docs/质检报告_20260820.md）。

独立 LLM 裁判（Cursor Grok 4.6 / xAI，非 DeepSeek）

与人工同款 rubric（D1 题目质量 / D2 证据充分性或范围外确认 / D3 答案忠实度；详见 docs/data_card.md）：

维度	是	部分	否	无法判断
D1（100）	100	0	0	0
D2（100）	86	14	0	0
D3（100）	61	18	1	20

同版本对照（未整改 94 题）：D2 Kappa 0.501–0.544，D3 Kappa 0.778–0.796。范围外 20 题全部确认超语料。D3「否」仅 q068。

交叉检索器（切块与题目不变）

跨家族应把 E5/GTE 与无重排的 BGE 比，不要只和带 rerank 的 baseline 比。

系统	Recall@5	Recall@10	MRR@10	nDCG@10	表格题 Recall@10
baseline（bge-m3 + BM25 + rerank）	0.7812	0.8125	0.7431	0.7451	0.8000
bge_norerank	0.7125	0.7750	0.6061	0.6354	0.9000
bm25	0.1625	0.1875	0.1353	0.1478	0.4000
e5（multilingual-e5-large）	0.6312	0.7250	0.4805	0.5354	0.9000
gte（gte-multilingual-base）	0.7063	0.7188	0.5404	0.5838	0.8500

金标没有只被 BGE-M3 找到。纯 BM25 Recall@10 = 0.1875，符合中文问、英文块。

题目–块泄漏（2026-08-21）

正式检索用中文题。英文题面相对 gold 的连续词重叠：可答题中位数 3.0 词；62/80 最长连续 ≤4 词；整题是 chunk 子串 0 道；中文汉字落入英文 gold 0。

集合	rewrite	heavy（5–7 词术语串）	copy（≥8 连续词）
全量 100	83	13	4
可回答 80	63	13	4
范围外 20	20	0	0

4 道英文对照题嵌了长条件从句或名词短语：q075 / q047 / q076 / q027。这不等于中文检索泄漏。

数据文件

文件	内容
`eval/questions.jsonl`	100 道评测题（题目、gold 证据、参考答案、复核状态）
`docs/data_card.md`	数据说明（来源、处理、边界、Kappa、交叉检索、裁判 rubric、泄漏审计）
`docs/judge_rubric.md`	独立 LLM 裁判口径（与人工盲审同款 D1/D2/D3）
`docs/质检报告_20260820.md`	人工复核质检报告（Markdown）
`docs/质检报告_20260820.pdf`	人工复核质检报告（PDF）
`croissant.json`	Croissant 元数据

使用边界

—适用于 RAG 检索/问答原型评测、证据定位与研究综述辅助；
—不适用于工程设计审查、操作规程、标准合规判断或产线安全决策；
—原始英文正文版权归原出版方所有，本发布不包含论文全文；正文重建需自行获取语料后使用构建器复现；
—6 道 human_repaired 题为评审后按原文修复，修复本身未经第二轮双人复验（详见质检报告第 3 节）；
—英文对照题 4 道含 ≥8 连续词（q075/q047/q076/q027）；正式检索用中文题，汉字落入英文 gold 为 0。

引用

bibtex

@dataset{glass_rag_eval_v01_2026,
  title  = {Glass Manufacturing \& Furnace Technology RAG Eval v0.1},
  author = {SZHZX},
  year   = {2026},
  note   = {100-question Chinese retrieval and grounded-QA benchmark over 111 English scientific papers on glass manufacturing; gold standard verified by double-blind human review. License: CTIEC-BL-1.0}
}