CodeSoulco/TextInsightBench
TextInsightBench English | 简体中文 A natural-language data-mining benchmark for agents: 50 tasks, 435,000 task documents and 944,468 unlabeled learning documents. Each task provides 5,000 or 10,000 texts and a research objective. Agents choose the patterns, populations and comparisons to investigate, then submit up to three findings with complete document assignments, exact quotations, statistics, counterexamples and limitations. Any analysis method is allowed. Contents… See the full description on the dataset page: https://huggingface.co/datasets/CodeSoulco/TextInsightBench.
0976
1# TextInsightBench2 3[English](README.md) | **简体中文**4 5自然语言数据挖掘 Agent benchmark：**50 道任务、435,000 篇任务文本、944,468 篇无标签学习文本**。6 7每题 5,000 或 10,000 篇，Agent 自选分析条件、范围及比较对象，最多提交 3 个发现，附完整文档分类、精确引用、统计量、反例与局限。不限定分析方法。8 9## 包含什么10 11- `tasks.json`：题目与约束。12- `corpora/*.jsonl.gz`：每题完整原文。13- `learning/*/*.parquet`：可选无标签学习池。14- `output.schema.json`：输出格式。15- `protocol.json`、`release.json`、`manifest.json`：协议、数量与文件校验。16 17语料来自 Amazon Beauty、Android App Reviews、CFPB 和 NHTSA。任务包含 20 道群体差异、15 道时间变化、15 道复合关联。18 19## 使用20 21```bash22git clone https://github.com/erwinmsmith/TextInsightBench.git23cd TextInsightBench24python -m venv .venv25source .venv/bin/activate26pip install -e .27tib download --output data/participant28tib verify --data data/participant29```30 31下载使用代码仓库锁定的提交；需要学习池时加 `--with-learning`。32 33[接入、续跑及评分](docs/USAGE.zh-CN.md) · [数据字段](docs/DATA.md) · [代码仓库](https://github.com/erwinmsmith/TextInsightBench) · [测评资源](https://huggingface.co/datasets/CodeSoulco/TextInsightBench-Evaluation)34 35## 评估36 37本地全量检查分类、引用与算术；模型先盲检抽样原文，再评审发现质量。语义评审收费、不是全量确认，也不等于独立 ground truth。任务没有固定参考结论，按原文证据及公开规则评分。38 39任务与学习池 ID 不重叠，但数据此前公开，实体和来源可共享，任务并非统计独立。原文是未经核实的作者叙述，可能含个人信息。[来源与使用条款](SOURCES.md)。40