CoolFace
Datasetpublic

shoumenchougou/RWKV-7-Arithmetic

RWKV-7-Arithmetic-0.1B 加减法运算模型的训练和测试数据集。 该模型实现基础加减法运算和加减法方程求解功能，能够处理整数部分为 1-12 位、小数部分为 0-6 位的数值，支持中英文数字、全半角格式以及大小写字符的多种表示形式，可实现基础加减法运算和加减法方程求解功能。 训练数据集说明 以下是我们使用的加减法训练数据类型，共包含 30000587 33000147 条单轮加减法 QA 数据，约 1B（1014434168） token。 数据文件名 数据条数 数据说明 示例 ADD_4M 3997733 1. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字2. 运算符附近有 1~2 个随机空格3. 含简单自然语言描述/自然语言噪声 {"text": "User: 249476576 减 796580834 还剩多少？\n\nAssistant: -547104258"} ADD_2M 1999673 1. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字2. 运算符附近有 1~2… See the full description on the dataset page: https://huggingface.co/datasets/shoumenchougou/RWKV-7-Arithmetic.

sourceHugging Faceapache-2.0updated 1y agoView on Hugging Face
0likes236downloads
Dataset Card

[RWKV-7-Arithmetic-0.1B](https://huggingface.co/shoumenchougou/RWKV-7-Arithmetic-0.1B) 加减法运算模型的训练和测试数据集。

该模型实现基础加减法运算和加减法方程求解功能，能够处理整数部分为 1-12 位、小数部分为 0-6 位的数值，支持中英文数字、全半角格式以及大小写字符的多种表示形式，可实现基础加减法运算和加减法方程求解功能。

训练数据集说明

以下是我们使用的加减法训练数据类型，共包含 ~~30000587~~ 33000147 条单轮加减法 QA 数据，约 1B（1014434168） token。

数据文件名数据条数数据说明示例
ADD_4M39977331. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 含简单自然语言描述/自然语言噪声{"text": "User: 249476576 减 796580834 还剩多少？\n\nAssistant: -547104258"}
ADD_2M19996731. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 含简单自然语言描述/自然语言噪声{"text": "User: 捌仟玖佰捌拾叁点肆贰陆玖+9334160.73357\n\nAssistant: 9343144.16047"}
ADDbase8M7992002-999~999的全部两两组合，仅算术式子，无任何随机更改{"text": "User: -999 + -991 = ?\n\nAssistant: -1990"}
ADD_n1m02708871. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字；<br>2. 运算符附近有 1~2 个随机空格<br>3. 额外限制最少有 1 次进/退位{"text": "User: 78041304-805555\n\nAssistant: 77235749"}
ADD_n1m11999001. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 含简单自然语言描述/自然语言噪声<br>4. 限制最少 1 次进/退位{"text": "User: ３９２１８５７２１４+玖仟柒佰肆拾壹萬肆仟叁佰玖拾肆 = ?\n\nAssistant: 4019271608"}
ADD_n2m02707981. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字；<br>2. 运算符附近有 1~2 个随机空格<br>3. 额外限制最少有 2 次进/退位{"text": "User: 9420731235+陆仟柒佰伍拾陆萬肆仟贰佰玖拾玖\n\nAssistant: 9488295534"}
ADD_n2m11998471. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 含简单自然语言描述/自然语言噪声<br>4. 限制至少 2 次进/退位{"text": "User: ３０６８５３６２+柒仟壹佰肆拾萬壹仟壹佰贰拾捌 = ?\n\nAssistant: 102086490"}
ADD_n3m02708531. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字；<br>2. 运算符附近有 1~2 个随机空格<br>3. 额外限制最少有 3 次进/退位{"text": "User: 肆拾叁億肆仟伍佰零肆萬贰仟肆佰捌拾玖加78759970978\n\nAssistant: 83105013467"}
ADD_n4m32713451. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字；<br>2. 运算符附近有 1~2 个随机空格<br>3. 额外限制最少有 4 次进/退位，且至少有一个连续进/退位长度为 3 的连续段{"text": "User: 六亿两千三百二十八万一千零二十四点五四五二六减２３２９５５８．３３３１７\n\nAssistant: 620951466.21209"}
ADDrandom0.25M2497351. 逐位随机进行替换<br>2. 替换内容为：大小写中文、全半角数字、（例如：叁2五）<br>3. 每个数字和运算符直接随机0~2个空格{"text": "User: ４６４９５５６９．６７８８６-四百６十亿8千六百４十二万贰千陆百8十玖点九３四五伍=？\n\nAssistant: -46039927120.25569"}
ADDrandom4M44944841. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换数字的某个位，例如：八4肆<br>2. 数字内部和运算符附近有 1~2 个随机空格{"text": "User: ８千１百陆十六万捌千8百捌十捌-2仟５佰壹拾八 億2仟六佰１拾八萬陆仟 六佰５拾五\n\nAssistant: -251744517767"}
ADDmany050k50000强化数据，如2.000+1{"text": "User: -315052474 4.00 和 ８２５８２４１４９１７６．００００ 等于？\n\nAssistant: 822673624432"}
ADD_en9763941. 使用‘全角’、‘中文数字’、‘大写中文数字’、‘英文数字’随机替换整个数字；<br>例如： 叁3三３three THREE Three{"text": "User: seven Nine FOUR six six One seven NINE SIX one ZERO zero point Six SIX ONE seven NINE six One NINE+2=?\n\nAssistant: 794661796102"}
ADDenbase_1M-v11000000英语基础数据，从qaaddbase_8M.jsonl下采样直译而来{"text": "User: 275MINUS six Hundred sixty five= , solve this.\n\nAssistant: -390"}
ADDenbase_1M-v21000000英语基础数据，从qaaddbase_8M.jsonl下采样直译而来{"text": "User: -684 plusfour Hundred eighty Five=equals WHAT?\n\nAssistant: -199"}
ADDenrandom_mix14647271. 使用‘全角’、‘中文数字’、‘大写中文数字’、‘英文数字’随机替换整个数字；<br>2. 对每个单词逐个字母进行大小写随机<br>例如： 叁3三３three THREE Three tHrEe{"text": "User: ６９４１+Six MILLION Three HUNDRED FIFTY four THOUSAND TWENTY three=?\n\nAssistant: 6360964"}
ADDenby-desc4899611. 使用‘全角’、‘英文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 含简单自然语言描述/自然语言噪声{"text": "User: What is Eight three five Eight TWO four zero TWO Point Four added To 10994.06?\n\nAssistant: 83593396.46"}
ADD_use-connect1542000强制使用标准化的英文连接符{"text": "User: FIVE-BILLION-EIGHT-HUNDRED-NINETY-THREE-MILLION-NINE-HUNDRED-FIFTY-FIVE-THOUSAND-EIGHT-HUNDRED-FORTY-THREE+ NiNE-HUndred-FoRTY-sIx-BiLlIon-sIx-hUnDReD-Eighty-foUr-miLLiON-Eight-HunDRed-seveNty-two-THoUSAND-FOUR-HUndREd-FiFty-nIne-PoInT-EIGHT-nINe-siX-SIX = ?\n\nAssistant: 952578828302.8966"}
Xchmix20000001. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 随机中英问号<br>4. 解方程格式{"text": "User: x+514= 585.028, 求解 x。\n\nAssistant: x = 585.028 - 514 = 71.028"}
Xchen_mix2500001. 使用‘全角’、‘英文数字’、‘中文数字’、‘大写中文数字'随机替换数字的某个位<br>2. 运算符附近有 1~2 个随机空格<br>3. 随机中英问号<br>4. 解方程格式{"text": "User: x-６８５９１９一７１８５=－68伍９1玖1692捌, 求 x 的值。\n\nAssistant: x = -68591916928 + 68591917185 = 257"}
Xenrandom_mix10000001. 使用‘全角’、‘中文数字’、‘大写中文数字’随机替换整个数字<br>2. 运算符附近有 1~2 个随机空格<br>3. 含简单自然语言描述/自然语言噪声<br>4. 对每个单词逐个字母进行大小写随机<br>5. 解方程格式{"text": "User: miNus FouR PoINT TWO fOUr fIve FOUR zERo zerO sIx TiMeS tEN tO the pOWEr OF EigHT+x=－４２４５３９８５４．８ , x = ?\n\nAssistant: x = -424539854.8 + 424540060 = 205.2"}
qa_error248噪声数据，答案为：无法相加{"text": "User: 椅子 + 桌子 =\n\nAssistant: 无法相加"}
qagibberishunanswerable10000乱码数据，答案为：无法回答{"text": "User: &ad>]`Fx'uD/jPr~Xp!e:x#K4~{\n\nAssistant: 无法回答"}
qaaddsci-30M（新增）3000000使用科学计数法的加减法数据，多种混合{"text": "User: 贰億7仟捌佰叁拾玖萬９仟叁佰2拾贰-x=2.78398392e+8, x 的值是？\n\nAssistant: x = 278399322 - 278398392 = 930"}

测试集说明

我们使用同一套数据集生成代码生成了和训练集分布相同的测试集，因为生成的加减法数据整数部分为 1-12 位、小数部分为 0-6 位，存在的数字组合数量超过 10 的 36 次方，我们的训练集数据条数为 ~~30000587~~ 33000147，测试集为 6691 条，测试集和训练集出现至少 1 条重复数据的概率小于 0.00002%，可以保证测试集和训练集基本无重复。

⚠️ 注意：此处的概率为粗略估计，且忽略了 ADDbase 数据和相应的测试集 ADDbase_test 中必定出现的合理重复。

数据生成脚本

数据生成的脚本文件为 make_data_v2.ipynb ，包含全部 15 个类型/ 23 个文件的生成代码，可以查看脚本中的说明。

生成时数据的位数使用公式 min(0.1, 0.2x(0.8)^(n-1))（n 为数字位数） 计算生成概率，以保持生成数据的位数分布。先使用该公式计算数字池，长度为指定位数的数字的生成概率，最终每个单独的概率除以概率总和，实现总体概率为 100%

注意：强制数字必须有多个进位时，会导致部分低位数字被抛弃，进而破坏此公式。

测试脚本

测试脚本文件为 Test.ipynb，此脚本用于测试一个文件夹中的全部 jsonl 文件。它将模型的输出和测试数据的 Assistant 部分进行比较，以确认回答是否正确。

使用时，只需要修改输入路径 INPUT_FOLDER_PATH 和输出路径 OUTPUT_FOLDER_PATH 即可。