mnbvc
Datasets
All datasets matching “mnbvc”MNBVCMNBVC: Massive Never-ending BT Vast Chinese corpusMNBVC-judgment这是 MNBVC 项目中裁判文书数据。数据格式使用的是通用数据格式。清洗代码：wormtooth/MNBVC-judgment.
MNBVC-epubs这是 MNBVC 项目中部分 epubs 数据。数据格式使用的是通用数据格式。
data/aliyun-dev: 阿里云开发者社区，数据源：firefox-popkart-org/aliyun-dev
data/52pojie: 吾爱破解，数据源：it-ebooks-0/52pojie-2008-2021
data/qdaily: 好奇心日报，数据源：ixinzhi/qdaily-backup
data/zuowencom: 作文网，数据源：CyberCommy/zuowencom
data/biqu520net: 笔趣网，数据源：
biqu520net-10001-20000
biqu520net-20001-30000biqu520net-30001-40000
biqu520net-40001-50000
biqu520net-50001-60000
biqu520net-60001-70000
biqu520net-70001-80000
biqu520net-80001-90000
biqu520net-90001-100000… See the full description on the dataset page: https://huggingface.co/datasets/wormtooth/MNBVC-epubs.MNBVCMNBVC: Massive Never-ending BT Vast Chinese corpusMNBVCMNBVC: Massive Never-ending BT Vast Chinese corpuswikipedia-zh-mnbvc
zhwiki-mnbvc
分项目：爬取并处理中文维基百科语料
数据时间：202302-202305 （持续更新）
主项目：MNBVC(Massive Never-ending BT Vast Chinese corpus)超大规模中文语料集 https://github.com/esbatmop/MNBVC
该项目清洗流程主要参考：https://kexue.fm/archives/4176/comment-page-1
并且使用组员开发的去重工具进行数据格式化。
总行数（样本）: 10,754,146
一个示例：
{
"文件名": "cleaned/zhwiki-20230420/folder_0/723712.txt",
"是否待查文件": false,
"是否重复文件": false,
"文件大小": 558,
"simhash": 14363740497821204542,
"最长段落长度": 142,
"段落数": 6,
"去重段落数": 6,
"低质量段落数": 0,
"段落": [
{… See the full description on the dataset page: https://huggingface.co/datasets/wanng/wikipedia-zh-mnbvc.