Limour/b-corpus
📊 Statistic 约 7.86 million 行中文对话，183 million tokens ⚠️注意 请注意，数据来自 R18 的视觉小说，并且包含可能被认为是不适当、令人震惊、令人不安、令人反感和极端的主题。如果您不确定在您的国家拥有任何形式的虚构文字内容的法律后果，请不要下载。 本项目内的所有数据及基于这些数据的衍生作品禁止用作商业性目的。 ⚠️Warning Please note that the data comes from R18 visual novels and contains themes that may be considered inappropriate, shocking, disturbing, offensive, and extreme. If you are unsure about the legal implications of possessing any form of fictional written content… See the full description on the dataset page: https://huggingface.co/datasets/Limour/b-corpus.
82839
📊 Statistic
- 约 7.86 million 行中文对话，183 million tokens
⚠️注意
- 请注意，数据来自 R18 的视觉小说，并且包含可能被认为是不适当、令人震惊、令人不安、令人反感和极端的主题。如果您不确定在您的国家拥有任何形式的虚构文字内容的法律后果，请不要下载。
- 本项目内的所有数据及基于这些数据的衍生作品禁止用作商业性目的。
⚠️Warning
- Please note that the data comes from R18 visual novels and contains themes that may be considered inappropriate, shocking, disturbing, offensive, and extreme. If you are unsure about the legal implications of possessing any form of fictional written content in your country, please do not download.
- All data within this project and derivative works based on this data are prohibited from being used for commercial purposes.
🤝Contributors
- Hocassian： https://hocassian.cn/
- SakuraLLM 数据集：https://t.me/+HLSYvHRQUVBlMGY1
🙏致谢
- HIllya51/LunaHook：https://github.com/HIllya51/LunaHook
- nenekochan/yoruno-vn：https://huggingface.co/datasets/nenekochan/yoruno-vn
- woctordho：https://huggingface.co/datasets/alpindale/visual-novels/discussions/3
📋To Do
✅Done
- 有FD的包括了FD，不再另列
说明
纯手工用眼睛和手细细切做臊子的中文长文本语料，带人名标注的视觉小说语料。
- 清洗要求：
全角转半角|繁体转简体 - 内部去重：
s/(.)\1{3,}/$1$1$1/g|s/(.{2,}?)\1{2,}/$1/g|s/(((^.*$)[\r\n]*){1,10}?)\1{1,}/$1/g|s/^(.+?)<sp>：(.+?)$\r\n\1：\2/$1：$2/g - 一个完整对话为一个文件
- 一行的格式为
{NAME}：{DIALOGUE}('：'为中文冒号) - 旁白的 {NAME} 为
旁白 - 未知人物的 {NAME} 为
? - 完整保留涩涩内容，部分内容涉及错误世界观和道德伦理
b-corpus\v-corpus-en来自 alpindale/visual-novels, 或许可以翻译成中文？- 将数据按
制作会社\作品名进行了整理，保存在v-corpus-zh目录下 - 有空闲时间的话，可以去梓澪の妙妙屋下游戏后，解包整理。
- 希望能有同志一起构建数据集
- 错误价值观举例
旁白：她抵达了终之空。
旁白：她已经超越了万物....
旁白：超越万物....
旁白：也就是,
旁白：抵达极致....
女信徒A：野崎跳下去了!
女信徒A：真棒。我们跟上吧!趁俗世的权利还没阻止我们抵达极致!!
女信徒A：救世主大人
女信徒A：我先走一步
我/卓司：嗯
女性信者B：我也走了
女信徒C：我也....各位,保重
男信徒A：我也要....跟这不完美的世界说再见了。各位,再见....
由香：在完美的世界里,我们也要在一起,
?：嗯——
由香：再见,救世主大人。非常感谢
我/卓司：嗯....
男信徒B：这样就能跟这个世界说再见了....我讨厌这个世界
男信徒B：以后就能在完美的世界里——
男信徒B：在完美的世界里,过上幸福的日子!!
男信徒B：没有家人
男信徒B：没有老师
男信徒B：没有考试
男信徒B：也没有学校
男信徒C：完美的世界,我来了!!
旁白：....信徒们一个个地抵达终之空....我/卓司：真的会有祝福自己诞生的人吗?
我/卓司：正因为诅咒一切,在这个世界诞生,因为一切都是谬误,我们才——
行人：是啊,没错,是这样。如果诞生是惩罚的话,我们在诞生的瞬间就是丧家犬了....
我/卓司：那为什么——
行人：所以就要勒紧刚诞生的婴儿的脖子?
旁白：我有些惊讶。
旁白：“掐住新生婴儿的脖子,将其人生在10分钟结束,谁也不会有异议”
旁白：虽然这的确是我说的,但那是在方舟的演说上说的。我不认为行人会知道。
旁白：这样的话。
我/卓司：我们在思考同样的事?
行人：谁知道呢?但我能断言,你的所作所为是错误的
旁白：即使如此,也要断定我是错的。
旁白：虽然很想听听他的理由,但若他是最后一人,也就没必要听了。
旁白：因为这是我在思考的事,而水上行人与我的判断完全相反——
我/卓司：被诅咒的,生
我/卓司：被祝福的,生
我/卓司：亦或者是——
我/卓司：被当做诅咒的,死
我/卓司：把这样的死,当做祝福接受
我/卓司：到这里为止,我和你的想法应该是一样的吧?- 涩涩内容举例
我/块斗：「哪个才是本体啊!?」
月咏：「都是本体哦。这是将自身的存在多次复制的结果」
月咏：「现技术已经支持了,只要大脑适应,就能复制多个自己,并随意行动」
月咏：「就好比自己的神经伸展到外部了的感觉」
我/块斗：「嚯嚯......」
旁白：我也能做到这样的吗......?
月咏：「我一开始就是完全适应的状态......所以这种事也能做到」
旁白：齐刷刷走来的月咏大军将我围住,并把我推倒。
我/块斗：「哇......怎么了?」
月咏：「......在这里做爱的话,就不会对身体有负担了」
月咏：「但是,这样会将大脑的感受更直接的引导出来」
我/块斗：「......也就是说?」
月咏：「......非常抱歉,主人」
月咏：「我......大概是个相当色情的女孩子」
我/块斗：「放心吧。我对你的感情绝对不比你差」
月咏：「好开心......请让我好好侍奉您一番吧」
旁白：两侧的月咏靠近过来,并将她们的嘴唇贴了上来。
月咏1：「嗯......呼......啾......今天,请尽情享受吧......啾......」
旁白：站在身旁的月咏吸住我的嘴唇。
旁白：而且还抓住我的手往自己胸上压。
月咏1：「哈噗......啾、嗯嗯......啊哈......主人,你知道,啾......我现在心脏砰砰跳个不停吗......?」
月咏2：「要这样说,我的心脏现在也......扑通扑通地跳......主人......嗯嗯、请你确认一下......」
旁白：位于另一侧的月咏则是把我的手放在私处。
旁白：指尖有种湿润的触感。
月咏2：「啊......嗯、嗯......主人的手指......啊、啊......我的阴道里面,躁动不停......嗯嗯......好舒服......」
月咏1：「也请尽情摸我的胸部......嗯、啾、嗯溜噜......溜噜、啾......!」
旁白：像是为了对抗让我触摸秘部的月咏,另一个月咏吸住了我的舌头。
我/块斗：「啾......哈啊、哈啊......呜喔喔!?」
月咏3：「呼......嗯、嗯......呼呼、主人,舒服吗......?」
旁白：往身下看去,发现第三个月咏用胸部夹住了我的股间。def clearT():
import unicodedata
from opencc import OpenCC
def full2half(input_str):
return ''.join([unicodedata.normalize('NFKC', char) for char in input_str])
cc = OpenCC('t2s') # 't2s'表示繁体转简体
def _clearT(s):
s = cc.convert(full2half(s))
return s.strip().replace('\n', '\\n')
return _clearT
clearT = clearT()下载：$env:HF_ENDPOINT="https://hf-mirror.com"; python -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='Limour/b-corpus', repo_type='dataset', local_dir=r'D:\datasets\tmp')"