datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
EvolInstruct_zh_DeepseekAPI和之前的Evol-Instruction尝试对比（https://huggingface.co/datasets/lorinma/Chinese_Evol_Instruct_3.5），使用了中文prompt。
因为OpenAI接口太贵，使用了DeepSeek赠送的1000万token。这次生成了一万条基本用完了。
一共有3个文件：
combined_seed_correct.json 是使用的基础种子任务371条，alpaca格式。使用了 Belle的中文种子任务175条。并且参照了 4 增加了ShareGPT的数据以更接近真实世界的用法，掺入了 Wildchat-zh抽样196条 ，多轮对话只采用第一个有意义的问答对。
evolve_chinese.py 基于H2O EvolInstruction的代码。
0227_evol_combinedseedcorrect.json 生成的1.2万条数据。
LORIS
Dataset Card for LORIS
Dataset Summary
LORIS dataset is a large-scale rhythmic video soundtrack dataset that includes 86.43h long-term, high-quality raw videos with corresponding 2D poses, RGB features, and ameliorated audio waveforms. This dataset is originally used for the video background music generation task (a.k.a. video soundtracks).
Get Started
from datasets import load_dataset
dataset = load_dataset("OpenGVLab/LORIS")
Citation Information… See the full description on the dataset page: https://huggingface.co/datasets/OpenGVLab/LORIS.PetrochemicalCorpora_CPTtest_200bks_zhChinese Corpora in the field of petrochemical, for the purpose of LLM continue-pretrain.
用于垂域（化工）LLM的增量预训练使用的语料，测试版。
200本书，仅经过了OCR，没有进行任何数据清理，所以质量不高。尤其是涉及到复杂的表格和公式，以及这批书的扫描质量偏低。
仅用于测试使用。
样例1：
i所有安全泄压设施：如安全阀、爆破片、呼吸阀都应编号，并表示清楚设计要求； j异径管需注明其形式及规格；对改、扩建装置，版表示与已有设备或管道的连接点 （3） 仪表 a所有在线仪表，包括测量、记录、调节、分析仪表等，所有仪表均需编号； b所有调节阀； e联锁关系； d 随机仪表应在PID上注明。 （4） PID注释 h设备注释主要注明设备布置的特殊要求和催化剂、化学品和填料装卸处的空间要求 等内容； b管道注释主要注明工艺、配管方面的一些特殊要求； c仪表注释主要注明仪表安装方面的特殊要求。 3.0.10公用系统管道和仪表流程图应表示下列内容： （1）… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/PetrochemicalCorpora_CPTtest_200bks_zh.4L-RP-Human-Clean
4L-RP-Human: Multilingual Data–Text Alignment Judgements
Overview
This dataset contains structured data, corresponding texts, and human judgements of their semantic alignment:
Precision: how much of the information expressed in the text is supported by the input data?
Recall: how much of the input information is expressed in the text?
Individual annotator ratings are retained for each pair. F1 can be derived from precision and recall; it was not collected as a… See the full description on the dataset page: https://huggingface.co/datasets/Loria-MosAIk/4L-RP-Human-Clean.BAAI_OL-CChttps://data.baai.ac.cn/details/OL-CC
*更改成了ShareGPT格式，并且将10006个问题-回答对，以及1649个仅有问题的，分为两个json。
感谢北京智源人工智能研究院（BAAI）的工作，但是似乎openlabel.baai.ac.cn和原图床已经下线，并且抱抱脸上的BAAI并未收录这个宝贵的数据集，所以在这里另存了一份。
--Below is original README--
OpenLabel-Chinese Conversations Dataset (OL-CC) 是首个以众包方式、人工生成的开源中文对话指令集，基于 openlabel.baai.ac.cn 开放平台进行数据收集，包含 10k+ “指令-回答”数据对和 1.6k+ 人工指令数据。指令类型丰富，包括问答任务、文本写作、文本抽取、编辑改写、分类选择、头脑风暴、 闲聊对话、逻辑&数学等任务。
截至目前，已有 276 位志愿者参与了数据集的建设。志愿者完成了以下任务：a) 扮演人类用户向AI助手发出指令，b)… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/BAAI_OL-CC.Slim-Wildchat-zhA big shout out to AllenAI, you guys rock!
从WildChat中抽出中文对话,但是因为发现了很多重复对话，有的人会反复的用一个prompt进行提问，有的人会换3.5或4去问同样的问题，所以进行了简单的去重。
去重方法大致为，使用bert-base-chinese将第一个问题转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。
注意！在对话中发现了NSFW的内容，并没有进行过滤，使用请注意甄别。
你会找到三个jsonl文件：
wildchat-seed-multi-200.json 是使用每一个单独的Dialogue的首个HumanQuestion为基础，采样的200个种子任务，用于EvolInsturction。
Subsample_10K.jsonl 原始版本，是使用每一个单独的Dialogue的首个HumanQuestion为基础，采样的1万个对话。
1213_Wildchat_zh_Sharegpt_ConcatSubsample_20k.jsonl… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/Slim-Wildchat-zh.GSM8K
LoRID: A Reasoning Distillation Method via Multi-LoRA Interaction
📃 Paper • 💻 Code • 🤗 HF Repo
Abstract
The datasets for "Can Large Models Teach Student Models to Solve Mathematical Problems Like Human Beings? A Reasoning Distillation Method via Multi-LoRA Interaction" [IJCAI 2025].
Key Contributions
We focus on the mathematical reasoning distillation task and propose a novel method LoRID, which draws inspiration from the human beings teaching and learning… See the full description on the dataset page: https://huggingface.co/datasets/LoRID-Math/GSM8K.NL2SQL_zh整合了3个中文数据集：追一科技NL2SQL，西湖大学的CSpider中文翻译，百度的DuSQL。
进行了大致的清洗，以及格式转换（alpaca）：
假设你是一个数据库SQL专家，下面我会给出一个MySQL数据库的信息，请根据问题，帮我生成相应的SQL语句。当前时间为2023年。格式如下：{'sql':sql语句}
MySQL数据库数据库结构如下：\n{表名（字段名...）}\n 其中:\n{表之间的主外键关联关系}\n 对于query：“{问题}”，给出相应的SQL语句，按照要求的格式返回，不进行任何解释。
其中，DuSQL最终结果是25004个。NL2SQL最终结果45919个，注意表名是乱码。CSpider，最终结果7786条，注意数据库是英文的，问题是中文的。
最终形成的文件，一共78706条，文件样例:
{
"instruction": "假设你是一个数据库SQL专家，下面我会给出一个MySQL数据库的信息，请根据问题，帮我生成相应的SQL语句。当前时间为2023年。",
"input":… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/NL2SQL_zh.ChineseEncyclopedia中文百科类数据，非百度百科或wikipedia。非常干净，质量非常高，多样性也很好，偏知识性的，可以过几个epoch的那种。
注意，有一些小问题，比如每一行最后面csv的占位逗号，以及图片的名称（例如：2022112908575485.jpg），自己用之前处理一下即可。
约28万个条目，2.4亿字。
觉得好用的话点个小心心哦
glhf:-)
MATH
LoRID: A Reasoning Distillation Method via Multi-LoRA Interaction
📃 Paper • 💻 Code • 🤗 HF Repo
Abstract
The datasets for "Can Large Models Teach Student Models to Solve Mathematical Problems Like Human Beings? A Reasoning Distillation Method via Multi-LoRA Interaction" [IJCAI 2025].
Key Contributions
We focus on the mathematical reasoning distillation task and propose a novel method LoRID, which draws inspiration from the human beings teaching and learning… See the full description on the dataset page: https://huggingface.co/datasets/LoRID-Math/MATH.spot-telluride-workshop-dataset
Spot Telluride Workshop Dataset
Multimodal sensor data from a Boston Dynamics Spot D02 (Marble backpack compute), extracted from ROS bags for the Telluride Neuromorphic + AI Workshop. The dataset currently covers two locations, each with its own extraction tool and Hub layout root:
Location
Runs
Hub layout root
Extraction tool
Classroom demo
run1
classroom/run1/<modality>/
extract_demo_data.py
School
run1, run2
school/run1/<modality>/, school/run2/<modality>/… See the full description on the dataset page: https://huggingface.co/datasets/lorinachey/spot-telluride-workshop-dataset.BookBasedQAGen_Petrochemical如果你有领域相关的一些文本材料（可以是OCR出来还比较脏的数据），想转化成单轮 alpaca 形式的的QA对，这是一个简易的教程。也就图一乐，因为真正高质量的领域QA还是得来自于行业专家，并且向LLM注入领域知识应该通过pretrain而不是SFT也已经是共识了。
bookgen文件夹中包含了样例文本和py文件，注意prompt根据领域调整一下，即使原始语料比较脏LLM也基本可以理解。并没有核查过会不会出现幻觉现象。
只要是和OpenAI SDK兼容的API服务都可以平滑迁移。这里使用了零一万物的yi-large API。https://platform.lingyiwanwu.com/
2024年8月2日更新，更新OpenAI SDK 1.0的调用方式，更新使用yi-large API，更新为单线程模式。
⚠️注意，单线程模式是为了更好的debug，真正生成数据需要自己修改成多线程模式，并且rate limit并没有单独进行handle。
样例数据是于23年6月使用3.5-turbo生成的，只放了一部分，随便玩玩就好～
If you have some text… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/BookBasedQAGen_Petrochemical.Slim-LCCC-zh在LLM横行的今天，大家都在讲究SFT数据质量。相比于各种一板一眼的AI回复，又是step by step又是detailed reasoning，这种非常casual的对话显得那么的独特，更适合用作情感陪伴闲聊机器人的目的。
本项目提供了一个大规模中文对话数据集，原始数据来自于清华大学的LCCC(Large-scale Cleaned Chinese Conversation)数据集
基于LCCC-large，但因为有1200万。故使用bert-base-chinese转换为embedding，且使用类knn的方法抽取了1万条。并转换成了sharegpt格式。
从实用的角度来说，因为对话都只有两句，需要通过GPT进行续写。但是实测发现openai系列的太严肃了，失去了casual的味道。浅测了一下文心一言可以续写这种闲聊对话。只是测试了一下，并没有放在这个数据集中。
当然了，最好的还是收集真实世界的对话。
details_lorinma__yi6B_Vicuna
Dataset Card for Evaluation run of lorinma/yi6B_Vicuna
Dataset automatically created during the evaluation run of model lorinma/yi6B_Vicuna on the Open LLM Leaderboard.
The dataset is composed of 63 configuration, each one coresponding to one of the evaluated task.
The dataset has been created from 1 run(s). Each run can be found as a specific split in each configuration, the split being named using the timestamp of the run.The "train" split is always pointing to the latest… See the full description on the dataset page: https://huggingface.co/datasets/open-llm-leaderboard-old/details_lorinma__yi6B_Vicuna.EvolInstruct_zh_COIG-PC_Deepseek中文世界欠缺类似FLAN和Orca的工作，COIG-PC又称自己包括了很多中文NLP任务，可以和FLAN类比。既然我之前做了一些Evol-Instruction的工作，那么我很好奇结合COIG-PC和EvolInstruction会有什么火花。
因为OpenAI接口太贵，使用了DeepSeek赠送的1000万token，这次生成了5000条，差不多用了600万token。
一共有3个文件：
0227_COIG_seed_tasks_CoarseFilter_1106_adjusted.json 是使用的COIG-pc-Lite，每一个task抽一条出来，并且过滤掉多语言的任务（只保留中英文），形成种子任务1106条.
evolve_chinese.py 基于H2O EvolInstruction的代码。
0227_EvolInstruct-COIG 生成的6680条数据。
tulu-3-sft-olmo-2-mixture-0225-sample-infThis dataset contains influence scores of loris3/tulu-3-sft-olmo-2-mixture-0225-sample[train] on the test instances in loris3/tulu-3-sft-olmo-2-mixture-0225-sample[test].
Dataset Info
Number of test examples: 1000
Slim-COIG-Kun
This is a Slim version of COIG-Kun
因为原始的数据集有53万条之多，所以进行了subsample。
采样方法大致为，使用bert-base-chinese将Instruction转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。
为了更直观的查看效果，文件中还有一个仅采样了1千条的版本。采样前后的Embedding使用tsne进行可视化。
original Kun(蓝色)和Moss003（红色）的区别，是否可解读为虽然Kun的数量很高，但是首个instruction的语义多样化不如Moss。（后记：这个地方不应该用tsne的，类见应该用umap不过anyway凑活着看吧是那个意思
Slim-Moss003sft-zh因为原生的Moss003数量太大，所以进行了简单的去重。
去重方法大致为，只选择中文的对话，使用bert-base-chinese将第一个问题转换为embedding，使用类knn的方法抽取了1万条。并转换成了sharegpt格式。
EvolInstruct_zh_GPT3.5私以为这并不是一次很成功的尝试。猜测一个主要原因是prompt依然是英文的，只是增加了the locale of the prompt is mainland china.
因为WizardLM系列长期霸榜LLM开源榜，一直很好奇EvolInstruct在英文世界表现出的对于复杂prompt的应对能力。
目前中文没有原生的EvolInstruct，仅有两个翻译版本 1 2。
故浅浅尝试复现中文版本。代码参照 3
但无奈接口实在是太贵，且生成的时间很长。所以如果有能够提供GPT-4 API资源的，我很乐意将这个量级撑到50K+并进行公开。
一共有3个文件：
combined_seed_correct.json 是使用的基础种子任务371条，alpaca格式。使用了 Belle的中文种子任务175条。并且参照了 4 增加了ShareGPT的数据以更接近真实世界的用法，掺入了 Wildchat-zh抽样196条，多轮对话只采用第一个有意义的问答对。
231213_ChineseEvolInstruct_140_gpt-4-1106-preview.json… See the full description on the dataset page: https://huggingface.co/datasets/lorinma/EvolInstruct_zh_GPT3.5.instructpix2pix-clip-filtered
Dataset Card for InstructPix2Pix CLIP-filtered
Dataset Summary
The dataset can be used to train models to follow edit instructions. Edit instructions
are available in the edit_prompt. original_image can be used with the edit_prompt and
edited_image denotes the image after applying the edit_prompt on the original_image.
Refer to the GitHub repository to know more about
how this dataset can be used to train a model that can follow instructions.
Supported Tasks… See the full description on the dataset page: https://huggingface.co/datasets/LORIA1/instructpix2pix-clip-filtered.ambigqa-steeringimnet1k_lorikeettulu-3-sft-personas-code-sampleThis dataset is a subset of allenai/tulu-3-sft-personas-code.
Generation Command
python take_split.py --source_dataset allenai/tulu-3-sft-personas-code --target_dataset tulu-3-sft-personas-code-sample --train 0.1 --test 1000.0 --seed 42 --private
Dataset Splits
Train: 3499 samples (10.00% of original)
Test: 1000 samples (2.86% of original)
Seed: 42
License
See original dataset
cama-continuity-burden
CAMA Continuity Burden Dataset
Overview
This dataset provides aggregate research outputs from the Circular Associative Memory Architecture (CAMA) research program — a four-paper series investigating emotionally-indexed persistent memory for human-AI interaction.
The central finding is the introduction and preliminary quantification of continuity burden: the communicative effort humans expend re-establishing context when interacting with memoryless AI systems.… See the full description on the dataset page: https://huggingface.co/datasets/LoriensLibrary/cama-continuity-burden.InstructCLIP-InstructPix2Pix-Data
Dataset Card for InstructCLIP-InstructPix2Pix-Data
The dataset can be used to train instruction-guided image editing models.
It is built on top of InstructPix2Pix CLIP-filtered with new edit instructions.
For each sample, source_image is the original image, instruction is the edit instruction, target_image is the edited image, and original_instruction is the edit instruction from the InstructPix2Pix CLIP-filtered dataset.
Please refer to our repo to see how the edit… See the full description on the dataset page: https://huggingface.co/datasets/LORIA1/InstructCLIP-InstructPix2Pix-Data.vc_randomAkka_Finetuning_Llama3.2triviaqa-test-tulu3-querygithub-issues
Dataset Description
This dataset is just for testing. It contains GitHub issues and pull requests associated with the 🤗 Datasets repository. It can be used for semantic search or multilabel text classification. The contents of each GitHub issue are in English.
subventions-ville-de-lorient
Subventions - Ville de Lorient
[!NOTE]
Ce jeu de données Hugging Face est vide. Cette carte sert seulement à référencer le jeu de données Subventions - Ville de Lorient qui est disponible à l'adresse https://www.data.gouv.fr/datasets/61d4e198405a9551d98b8e9e
Description
Liste des conventions de subventions versées par la ville de Lorient dont le montant annuel est supérieur à 23 000 €.
Cette liste précise :
Nom officiel de l’organisme attribuant la subvention… See the full description on the dataset page: https://huggingface.co/datasets/french-open-data/subventions-ville-de-lorient.