noah248/chinese-legal-sft

Chinese Legal SFT Dataset(中文法律 SFT 数据集) 面向大模型监督微调(SFT)的中文法律问答数据集,共 19,332 条问答对, 每条附带 LLM 质量评分。覆盖数据采集 → 清洗 → 去重 → 质量过滤 → 格式化 → 质量打分的完整数据工程流程。 配套代码与完整流水线:https://github.com/noah-white-python/legal-sft-dataset 数据构建流程 冷启动:基于开源数据集 DISC-Law-SFT 整理。 清洗:NFKC 全角半角统一、去控制字符、去空白、缺失过滤。 去重:精确去重(MD5)+ MinHash + LSH 近似去重(阈值 0.8)。 质量过滤:长度、中文字符占比等启发式规则,有效率 96.7%(20,000 → 19,332)。 格式化:输出标准 Alpaca 指令格式。 质量打分:用 LLM-as-judge 对全部数据从复杂度、清晰度、信息量三维度打分(1-5 分)。 字段说明… See the full description on the dataset page: https://huggingface.co/datasets/noah248/chinese-legal-sft.