CoolFace
Datasetpublic

mikuhhn1239/novel-agent-sft-dataset

All Novel Can Be Galgame — 完整数据集 中文小说叙事理解项目的完整数据集。包含 669 本中文小说的原始文本、标注和训练数据，用于训练叙事 Agent 系统。 项目地址：https://github.com/lin1753/novel2galgame 训练代码仓库：https://github.com/lin1753/novel-agent 数据规模 目录 文件数 大小 说明 training/ 52 689 MB 训练用 SFT 数据 (JSONL) raw-books/ 671 327 MB 669 本原始小说 processed/ 39,842 1.2 GB 按章节预处理文本 annotations/ 1,626 1 MB 原始标注文件 合计 42,191 2.2 GB 目录结构 datasets/ ├── training/ │ ├── base-sft/… See the full description on the dataset page: https://huggingface.co/datasets/mikuhhn1239/novel-agent-sft-dataset.

sourceHugging Faceapache-2.0updated 3mo agoView on Hugging Face
6likes5kdownloads
Dataset Card

All Novel Can Be Galgame — 完整数据集

中文小说叙事理解项目的完整数据集。包含 669 本中文小说的原始文本、标注和训练数据，用于训练叙事 Agent 系统。

项目地址：https://github.com/lin1753/novel2galgame

训练代码仓库：https://github.com/lin1753/novel-agent

ChatGPT Image 2026年7月5日 20_34_07

数据规模

目录文件数大小说明
training/52689 MB训练用 SFT 数据 (JSONL)
raw-books/671327 MB669 本原始小说
processed/39,8421.2 GB按章节预处理文本
annotations/1,6261 MB原始标注文件
合计42,1912.2 GB

目录结构

datasets/
├── training/
│   ├── base-sft/                          Stage1 全参 SFT (72K)
│   ├── v1-attribution-assist/             v1 角色归因 (66 条)
│   ├── v1-narrative-parsing/              v1 叙事解析 (70 条)
│   ├── v1-scene-segmentation/             v1 场景分割 (82 条)
│   ├── v2-attribution-best-candidate/     v2 角色归因 (300 条)
│   ├── v2-narrative-type-classification/  v2 叙事分类 (388 条)
│   ├── v2-scene-boundary-detection/       v2 场景边界 (~200 条)
│   ├── v3.1-attribution-best-candidate/   v3.1 角色归因 (300 条)
│   ├── v3.1-narrative-type-classification/v3.1 叙事分类 (388 条)
│   ├── v3.1-scene-boundary-detection/     v3.1 场景边界 (315 条)
│   ├── v3.2-attribution-best-candidate/   v3.2 角色归因 (525 条) ⭐
│   ├── v3.2-narrative-type-classification/v3.2 叙事分类 (655 条) ⭐
│   ├── v3.2-scene-boundary-detection/     v3.2 场景边界 (454 条)
│   ├── v3.3-scene-boundary-detection/     v3.3 二元决策实验 (349 条)
│   ├── v3.4-scene-boundary-detection/     v3.4 滑动窗口实验 (4505 条)
│   ├── v4-scene-boundary-detection/       v4 DeepSeek重标注 (2123 条) ⭐⭐
│   └── v4.1-scene-boundary-detection/     v4.1 扩标 (685 条)
├── raw-books/          # 669 本中文小说原文
├── processed/          # 预处理后的章节文本
└── annotations/        # 原始标注 JSON
    ├── attribution-assist/   角色归因
    ├── narrative-parsing/    叙事解析
    ├── scene-segmentation/   场景分割
    └── v2-expand/           扩展标注

三个 Agent 任务

Agent任务输入输出
Agent 1叙事类型分类已切分叙事单元{labels: [{unit_id, type}]}
Agent 2场景边界检测编号段落序列{boundaries: [N], reasons: [...]}
Agent 3角色归因候选角色 + 上下文{best_candidate, uncertain}

训练结果

版本数据量narrative-type (acc)scene-boundary (F1)attr-best (acc)
零基座 (Qwen3-8B)—0%0%0%
v1218 条25.0%33.3%14.3%
v2700+ 条63.6%53.3% ⭐33.3%
v3.1900+ 条63.6%28.6%43.3%
v3.21,634 条69.5% ⭐20.0%86.7% ⭐
v3.3–v3.44,854 条—12–15%—
v42,123 条—30.5% ⭐⭐—
scene-boundary 是三 Agent 中最难任务。v2 F1 53.3% 为史上最佳（标注标准不同）。v4 DeepSeek 重标注 590 条首次突破 30% 且 eval_loss 持续下降。v3.3/v3.4 二元/滑动窗口格式实验均失败（12-15%），印证 LM loss 与 F1 不对齐是核心瓶颈。

数据格式

训练数据为 JSONL，每行一条 ChatML messages：

json
{
  "messages": [
    {"role": "system", "content": "系统提示词"},
    {"role": "user", "content": "输入文本"},
    {"role": "assistant", "content": "{\"labels\": [...]}"}
  ]
}

相关模型

许可

Apache 2.0

mikuhhn1239/novel-agent-sft-dataset · CoolFace