lori
Datasets
All datasets matching “lori”EvolInstruct_zh_DeepseekAPI和之前的Evol-Instruction尝试对比（https://huggingface.co/datasets/lorinma/Chinese_Evol_Instruct_3.5），使用了中文prompt。
因为OpenAI接口太贵，使用了DeepSeek赠送的1000万token。这次生成了一万条基本用完了。
一共有3个文件：
combined_seed_correct.json 是使用的基础种子任务371条，alpaca格式。使用了 Belle的中文种子任务175条。并且参照了 4 增加了ShareGPT的数据以更接近真实世界的用法，掺入了 Wildchat-zh抽样196条 ，多轮对话只采用第一个有意义的问答对。
evolve_chinese.py 基于H2O EvolInstruction的代码。
0227_evol_combinedseedcorrect.json 生成的1.2万条数据。
LORIS
Dataset Card for LORIS
Dataset Summary
LORIS dataset is a large-scale rhythmic video soundtrack dataset that includes 86.43h long-term, high-quality raw videos with corresponding 2D poses, RGB features, and ameliorated audio waveforms. This dataset is originally used for the video background music generation task (a.k.a. video soundtracks).
Get Started
from datasets import load_dataset
dataset = load_dataset("OpenGVLab/LORIS")
Citation Information… See the full description on the dataset page: https://huggingface.co/datasets/OpenGVLab/LORIS.PetrochemicalCorpora_CPTtest_200bks_zhChinese Corpora in the field of petrochemical, for the purpose of LLM continue-pretrain.
用于垂域（化工）LLM的增量预训练使用的语料，测试版。
200本书，仅经过了OCR，没有进行任何数据清理，所以质量不高。尤其是涉及到复杂的表格和公式，以及这批书的扫描质量偏低。
仅用于测试使用。
样例1：
i所有安全泄压设施：如安全阀、爆破片、呼吸阀都应编号，并表示清楚设计要求； j异径管需注明其形式及规格；对改、扩建装置，版表示与已有设备或管道的连接点 （3） 仪表 a所有在线仪表，包括测量、记录、调节、分析仪表等，所有仪表均需编号； b所有调节阀； e联锁关系； d 随机仪表应在PID上注明。 （4） PID注释 h设备注释主要注明设备布置的特殊要求和催化剂、化学品和填料装卸处的空间要求 等内容； b管道注释主要注明工艺、配管方面的一些特殊要求； c仪表注释主要注明仪表安装方面的特殊要求。 3.0.10公用系统管道和仪表流程图应表示下列内容： （1）… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/PetrochemicalCorpora_CPTtest_200bks_zh.4L-RP-Human-Clean
4L-RP-Human: Multilingual Data–Text Alignment Judgements
Overview
This dataset contains structured data, corresponding texts, and human judgements of their semantic alignment:
Precision: how much of the information expressed in the text is supported by the input data?
Recall: how much of the input information is expressed in the text?
Individual annotator ratings are retained for each pair. F1 can be derived from precision and recall; it was not collected as a… See the full description on the dataset page: https://huggingface.co/datasets/Loria-MosAIk/4L-RP-Human-Clean.BAAI_OL-CChttps://data.baai.ac.cn/details/OL-CC
*更改成了ShareGPT格式，并且将10006个问题-回答对，以及1649个仅有问题的，分为两个json。
感谢北京智源人工智能研究院（BAAI）的工作，但是似乎openlabel.baai.ac.cn和原图床已经下线，并且抱抱脸上的BAAI并未收录这个宝贵的数据集，所以在这里另存了一份。
--Below is original README--
OpenLabel-Chinese Conversations Dataset (OL-CC) 是首个以众包方式、人工生成的开源中文对话指令集，基于 openlabel.baai.ac.cn 开放平台进行数据收集，包含 10k+ “指令-回答”数据对和 1.6k+ 人工指令数据。指令类型丰富，包括问答任务、文本写作、文本抽取、编辑改写、分类选择、头脑风暴、 闲聊对话、逻辑&数学等任务。
截至目前，已有 276 位志愿者参与了数据集的建设。志愿者完成了以下任务：a) 扮演人类用户向AI助手发出指令，b)… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/BAAI_OL-CC.Slim-Wildchat-zhA big shout out to AllenAI, you guys rock!
从WildChat中抽出中文对话,但是因为发现了很多重复对话，有的人会反复的用一个prompt进行提问，有的人会换3.5或4去问同样的问题，所以进行了简单的去重。
去重方法大致为，使用bert-base-chinese将第一个问题转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。
注意！在对话中发现了NSFW的内容，并没有进行过滤，使用请注意甄别。
你会找到三个jsonl文件：
wildchat-seed-multi-200.json 是使用每一个单独的Dialogue的首个HumanQuestion为基础，采样的200个种子任务，用于EvolInsturction。
Subsample_10K.jsonl 原始版本，是使用每一个单独的Dialogue的首个HumanQuestion为基础，采样的1万个对话。
1213_Wildchat_zh_Sharegpt_ConcatSubsample_20k.jsonl… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/Slim-Wildchat-zh.