kaihe/chinese_vietnamese_bilingual_wangwen

本数据集是一个中文到越南语的机器翻译数据集。数据集构造自较为受欢迎的网络小说，首先从越南语的小说站点根据排行榜看有哪些书比较受欢迎，看看哪些书是从对应的中文网文小说翻译而来的（大部分都是）。 拿到同一本书的中文版本和越南语版本后，就可以进行alignment。如果翻译是忠于原著的，那么 每个章节都能对上 同一个章节中的每个句子都能对上 实操过程中作者踩了很多坑，比如 作者的写作习惯不一样，无法把txt文本有效地切割成chapters 中文和越文版本的小说正文中有可能夹杂一些广告，要尽量过滤掉这些噪音 长篇网文有2000多chapter，中文版本和越文版本都可能丢失一些章节，要过滤掉无法对齐的章节 对齐算法是作者自己设计的，参考了transportation theory，以章节对齐为例。首先计算中文章节和越文章节两两之间的相似度，然后由动态规划算法寻找一条最优路径，给每一个中文章节asign一个越文章节。大致的过程如下图所示： 于是相似度计算就是其中的关键因素，对齐章节和对齐章节里的句子采取不同的相似度matric。 Chapter… See the full description on the dataset page: https://huggingface.co/datasets/kaihe/chinese_vietnamese_bilingual_wangwen.