Datasetpublic
intelli-zen/language_identification
语种识别 Tips: 语种 zh 代表是中文, 可能是简体, 也可能是繁体. 语种 zh-cn 则代表是简体中文, zh-tw 代表繁体中文. 数据来源 数据集从网上收集整理如下: 多语言语料 数据 原始数据/项目地址 样本个数 原始数据描述 替代数据下载地址 amazon_reviews_multi Multilingual Amazon Reviews Corpus; 2010.02573 TRAIN: 1191160, VALID: 29665, TEST: 29685 我们提出了多语言亚马逊评论语料库 (MARC)，这是用于多语言文本分类的大规模亚马逊评论集合。 该语料库包含 2015 年至 2019 年间收集的英语、日语、德语、法语、西班牙语和中文评论。 amazon_reviews_multi xnli XNLI; D18-1269.pdf TRAIN: 7702055, VALID: 49750, TEST: 100129 我们希望我们的数据集 XNLI… See the full description on the dataset page: https://huggingface.co/datasets/intelli-zen/language_identification.
0likes803downloads
Dataset Card
语种识别
Tips:
- —语种 zh 代表是中文, 可能是简体, 也可能是繁体. 语种 zh-cn 则代表是简体中文, zh-tw 代表繁体中文.
数据来源
数据集从网上收集整理如下:
多语言语料
| 数据 | 原始数据/项目地址 | 样本个数 | 原始数据描述 | 替代数据下载地址 |
|---|---|---|---|---|
| amazonreviewsmulti | Multilingual Amazon Reviews Corpus; 2010.02573 | TRAIN: 1191160, VALID: 29665, TEST: 29685 | 我们提出了多语言亚马逊评论语料库 (MARC)，这是用于多语言文本分类的大规模亚马逊评论集合。 该语料库包含 2015 年至 2019 年间收集的英语、日语、德语、法语、西班牙语和中文评论。 | amazon_reviews_multi |
| xnli | XNLI; D18-1269.pdf | TRAIN: 7702055, VALID: 49750, TEST: 100129 | 我们希望我们的数据集 XNLI 能够通过提供信息丰富的标准评估任务来促进跨语言句子理解的研究。 | xnli |
| stsbmultimt | SemEval-2017 Task 1 | TRAIN: 104117, VALID: 25943, TEST: 22457 | 使用时注意要打乱。可用语言有：de、en、es、fr、it、nl、pl、pt、ru、zh | stsb_multi_mt |
语种识别
| 数据 | 原始数据/项目地址 | 样本个数 | 原始数据描述 | 替代数据下载地址 |
|---|---|---|---|---|
| scandi_langid | TRAIN: 239618, TEST: 59840 | kardosdrur/scandi-langid | ||
| nordic_langid | Discriminating Between Similar Nordic Languages | TRAIN: 226159, TEST: 10700 | 重点关注六种北欧语言之间的区别：丹麦语、瑞典语、挪威语（尼诺斯克语）、挪威语（博克马尔语）、法罗语和冰岛语。 | strombergnlp/nordic_langid |
| mike0307 | Mike0307/language-detection | TRAIN: 33095, VALID: 4040, TEST: 4048 | ||
| nbnn | oai-nb-no-sbr-80 | TRAIN: 1556212, VALID: 1957, TEST: 1944 | 该语料库包含挪威电报局 (NTB) 的新闻文本从博克马尔语翻译成新挪威语的内容。 | NbAiLab/nbnn_language_detection |
机器翻译
| 数据 | 原始数据/项目地址 | 样本个数 | 原始数据描述 | 替代数据下载地址 |
|---|---|---|---|---|
| bucc2018 | bucc2018 | TRAIN: 2173318, TEST: 2125879 | 共享任务：识别可比语料库中的平行句子，语言：de, en, fr, ru, zh | |
| iwslt2017 | 2017.iwslt-1.1.pdf | TRAIN: 2482649, VALID: 11480, TEST: 72470 | IWSLT 2017 多语言任务解决了文本翻译问题，涵盖英语、德语、荷兰语、意大利语和罗马尼亚语等所有方向。 | iwslt2017 |
| bsdjaen | 2008.01940v1 | TRAIN: 35755, VALID: 3636, TEST: 3702 | 尽管由于并行语料库和基于语料库的训练技术的可用性不断增加，书面文本的机器翻译在过去几年中取得了长足的进步，但即使对于现代系统，口语文本和对话的自动翻译仍然具有挑战性。 在本文中，我们的目标是通过引入新构建的日语-英语商务会话平行语料库来提高会话文本的机器翻译质量。 | bsd_ja_en |
| autshumato | TRAIN: 652824 | Autshumato 项目的目标之一是开发三种南非语言对的机器翻译系统。 | autshumato | |
| chr_en | 2010.04791 | 样本个数 | ChrEn 是切罗基语-英语并行数据集，用于促进切罗基语和英语之间的机器翻译研究。 ChrEn 资源极少，总共包含 14k 个句子对，其分割方式有利于域内和域外评估。 ChrEn 还包含 5k 切罗基语单语数据以实现半监督学习。 | chr_en |
| cmuhinglishdog | CMU_DoG; 1809.07358 | TRAIN: 13146, VALID: 1645, TEST: 1616 | 这是印度英语（印地语-英语之间的代码混合）文本对话及其相应的英语版本的集合。 可用于两者之间的翻译。 该数据集由 CMU 的 Alan Black 教授团队提供。 | cmu_hinglish_dog |
| europaeactm | EAC-Translation Memory | TRAIN: 38054 | 该数据集是从英语到多达 25 种语言的手动翻译的语料库，由欧盟教育和文化总局 (EAC) 于 2012 年发布。 | europa_eac_tm |
| europaecdctm | ECDC-Translation Memory | TRAIN: 58968 | 2012 年 10 月，欧盟 (EU) 机构“欧洲疾病预防和控制中心”(ECDC) 发布了翻译记忆库 (TM)，即 25 种语言的句子及其专业翻译的集合。 | europa_ecdc_tm |
| flores | 1902.01382 | 低资源机器翻译的评估数据集：尼泊尔语-英语和僧伽罗语-英语。 | flores | |
| giga_fren | giga_fren | |||
| hind_encorp | HindEnCorp | TRAIN: 445071 | HindEnCorp 并行文本（句子对齐）来自以下来源：Tides，其中包含主要取自新闻文章的 50K 句对。 该数据集最初是为 2002 年 DARPA-TIDES 惊喜语言竞赛收集的，后来在 IIIT 海得拉巴进行了完善，并提供给 ICON 2008 的 NLP 工具竞赛（Venkatapathy，2008）。 | hind_encorp |
| hrenwac_para | TRAIN: 191946 | hrenWaC 语料库版本 2.0 由从克罗地亚 .hr 顶级域爬取的并行克罗地亚语-英语文本组成。 | hrenwac_para | |
| idpanlbppt | TRAIN: 47916 | BPPT（印度尼西亚技术评估和应用机构）为 PAN 本地化项目（发展亚洲本地语言计算能力的区域性倡议）创建的多域翻译系统并行文本语料库。 该数据集包含大约 24K 个句子，分为 4 个不同主题（经济、国际、科学技术和体育）。 | id_panl_bppt | |
| igbo | Igbo-English Machine Translation | 在这项工作中，我们讨论了为伊博语（尼日利亚三种主要语言之一）构建标准机器翻译基准数据集所做的努力。 | igbo_english_machine_translation | |
| menyo20k_mt | menyo20k_mt | TRAIN: 19899, VALID: 6655, TEST: 13148 | MENYO-20k 是一个多域并行数据集，其中的文本来自新闻文章、ted 演讲、电影文字记录、广播文字记录、科技文本以及其他由网络和专业翻译人员策划的短文。 | menyo20k_mt |
| pib | CVIT-PIB | 该数据集是 11 种印度语言的大规模句子对齐语料库，即： CVIT-PIB 语料库是印度语言可用的最大多语言语料库。 | pib | |
| poleval2019_mt | PolEval 是一项受 SemEval 启发的波兰语自然语言处理工具评估活动。 | poleval2019_mt | ||
| wmt19 | statmt.org | 我们的目标是尽可能使用公开的数据源。我们的训练数据主要来源是Europarl 语料库、 UN 语料库、新闻评论语料库和 ParaCrawl语料库。我们还发布了单语 新闻抓取语料库。将提供其他特定语言的语料库。 | wmt/wmt19 | |
| rostsparallel | TRAIN: 21226, VALID: 5470, TEST: 4693 | 我们提出 RO-STS-Parallel - 通过将 STS 英语数据集翻译成罗马尼亚语而获得的并行罗马尼亚语-英语数据集。 | ro_sts_parallel |
机器翻译
| 数据 | 原始数据/项目地址 | 样本个数 | 原始数据描述 | 替代数据下载地址 |
|---|---|---|---|---|
| parapatcs_en | ParaPat; Homepage | TRAIN: 156028 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapatde_en | ParaPat; Homepage | TRAIN: 3065565 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapatde_fr | ParaPat; Homepage | TRAIN: 1243643 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapatel_en | ParaPat; Homepage | TRAIN: 20234 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_es | ParaPat; Homepage | TRAIN: 1147278 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_hu | ParaPat; Homepage | TRAIN: 84824 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_ja | ParaPat; Homepage | TRAIN: 11971591 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_ko | ParaPat; Homepage | TRAIN: 4268110 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_pt | ParaPat; Homepage | TRAIN: 42623 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_ro | ParaPat; Homepage | TRAIN: 94326 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_ru | ParaPat; Homepage | TRAIN: 6795724 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_sk | ParaPat; Homepage | TRAIN: 44337 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_uk | ParaPat; Homepage | TRAIN: 177043 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapaten_zh | ParaPat; Homepage | TRAIN: 9367823 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapates_fr | ParaPat; Homepage | TRAIN: 55795 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapatfr_ja | ParaPat; Homepage | TRAIN: 599299 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapatfr_ko | ParaPat; Homepage | TRAIN: 200044 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
| parapatfr_ru | ParaPat; Homepage | TRAIN: 19577 | ParaPat：专利摘要的数百万个句子平行语料库 | para_pat |
机器翻译
https://opus.nlpl.eu/
| 数据 | 原始数据/项目地址 | 样本个数 | 原始数据描述 | 替代数据下载地址 |
|---|---|---|---|---|
| bible_para | bible-uedin | TRAIN: 245321 | 这是一个多语言平行语料库，根据 Christos Christodoulopoulos 和 Mark Steedman 编译的圣经翻译创建。 | bible_para |
| ecb | ECB; | TRAIN: 713510 | ecb | |
| emea | EMEA; | TRAIN: 2600773 | emea | |
| kde4 | KDE4; apps.kde.org; opus.nlpl.eu | TRAIN: 885030 | kde4 | |
| multiparacrawl | ParaCrawl; paracrawl.eu; MultiParaCrawl | TRAIN: 885030 | 我们报告了使用开源软件通过抓取网络来创建最大的公开可用并行语料库的方法。 | multi_para_crawl |
| open_subtitles | OpenSubtitles; L16-1147.pdf | TRAIN: 11662044 | 我们推出了平行语料库 OpenSubtitles 集合的新主要版本。 该版本由大型电影和电视字幕数据库编译而成，共包含 1689 个双文本，涵盖 60 种语言的 26 亿个句子。 该版本还包含了字幕预处理和对齐方面的许多增强功能，例如自动更正 OCR 错误以及使用元数据来估计每个字幕的质量并对字幕对进行评分。 | open_subtitles |
| para_crawl | ParaCrawl; ParaCrawl | 欧洲官方语言的网络规模并行语料库。 | para_crawl | |
| php | PHP | TRAIN: 44007 | 最初从 http://se.php.net/download-docs.php 中提取的并行语料库。该语料库相当嘈杂。 | php |
| tatoeba | Tatoeba; tatoeba; Tatoeba Paper | TRAIN: 702895 | Tatoeba 是句子和翻译的集合。 | tatoeba |
| qed_amara | QED | TRAIN: 4183836 | qed_amara | |
| setimes | SETIMES | 英语和东南欧语言平行语料库 | setimes | |
| spc | SPC | TRAIN: 98327 | spc | |
| tanzil | Tanzil | 样本个数 | tanzil |
机器翻译
https://opus.nlpl.eu/
| 数据 | 原始数据/项目地址 | 样本个数 | 原始数据描述 | 替代数据下载地址 |
|---|---|---|---|---|
| paracrawlen_bg | ParaCrawl; ParaCrawl | TRAIN: 1967082 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_cs | ParaCrawl; ParaCrawl | TRAIN: 5601171 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_da | ParaCrawl; ParaCrawl | TRAIN: 4617796 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_de | ParaCrawl; ParaCrawl | TRAIN: 31041474 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_el | ParaCrawl; ParaCrawl | TRAIN: 3799096 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_es (MemoryError) | ParaCrawl; ParaCrawl | MemoryError | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_et | ParaCrawl; ParaCrawl | TRAIN: 1625870 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_fi | ParaCrawl; ParaCrawl | TRAIN: 4071888 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_fr (MemoryError) | ParaCrawl; ParaCrawl | MemoryError | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_ga | ParaCrawl; ParaCrawl | TRAIN: 686474 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_hr | ParaCrawl; ParaCrawl | TRAIN: 1911081 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_hu | ParaCrawl; ParaCrawl | TRAIN: 3292718 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_it | ParaCrawl; ParaCrawl | TRAIN: 22718884 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_lt | ParaCrawl; ParaCrawl | TRAIN: 1554000 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_lv | ParaCrawl; ParaCrawl | TRAIN: 1059209 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_mt | ParaCrawl; ParaCrawl | TRAIN: 379616 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_pl | ParaCrawl; ParaCrawl | TRAIN: 6537110 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_pt | ParaCrawl; ParaCrawl | TRAIN: 15186124 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_ro | ParaCrawl; ParaCrawl | TRAIN: 3580912 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_sk | ParaCrawl; ParaCrawl | TRAIN: 3047345 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_sl | ParaCrawl; ParaCrawl | TRAIN: 1282153 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
| paracrawlen_sv | ParaCrawl; ParaCrawl | TRAIN: 6626302 | 欧洲官方语言的网络规模并行语料库。 | para_crawl |
参考来源
<details> <summary>参考的数据来源,展开查看</summary> <pre><code> https://huggingface.co/datasets/papluca/language-identification https://huggingface.co/datasets/unklefedor/language-identification
https://github.com/quincyliang/nlp-public-dataset
https://opus.nlpl.eu/
</code></pre> </details>