miracleyin/example_mmdata_mnbvc

mnbvc mm dataset v2.1 MNBVC 多模态语料数据格式。原链接：https://huggingface.co/datasets/wanng/example_mmdata_mnbvc 参考实现：mm_template_mnbvc 的 mmdata_block.BLOCK_SCHEMA。schema 以那份代码为准，这个数据集是它的示例产物。 字段 字段名称 类型 字段说明 可选 实体ID string 数据的唯一标识符。用于在数据集中确定是哪一条数据。在单个数据集中确定一条数据的实体对象。 必选 md5 string 内容的 md5，用于去重与完整性校验 必选 块ID int32 一个实体对象内的标识符。用于确定一条数据内的一个部分数据。parquet 行的最小单元。 必选 块类型 string 用于保存块的类别。类别的含义为「模态」。取值见下 必选 扩展字段 string 用于保存块的元信息。为可以被成功 load 的 json 字符串。后期可继续扩展 必选… See the full description on the dataset page: https://huggingface.co/datasets/miracleyin/example_mmdata_mnbvc.