Datasetpublic

geniacllm/wiki40b

アクセス方法 !pip install datasets from datasets import load_dataset dataset = load_dataset("geniacllm/wiki40b") jsonlへの変換 import json with open('your_dataset.jsonl', 'w', encoding='utf-8') as f: # 'train'はデータセットの特定のスプリットです。使用しているデータセットに合わせて調整してください。 for example in dataset['train']: # JSON Lines形式では、各データポイントをJSON文字列に変換し、新しい行に書き出します。 json_line = json.dumps(example) + "\n" f.write(json_line) データセット情報 dataset_info: features: name:… See the full description on the dataset page: https://huggingface.co/datasets/geniacllm/wiki40b.

sourceHugging Facecc-by-sa-4.0updated 2y agoView on Hugging Face

0likes17downloads

Dataset Card

アクセス方法

python

!pip install datasets

from datasets import load_dataset

dataset = load_dataset("geniacllm/wiki40b")

jsonlへの変換

python

import json

with open('your_dataset.jsonl', 'w', encoding='utf-8') as f:
    # 'train'はデータセットの特定のスプリットです。使用しているデータセットに合わせて調整してください。
    for example in dataset['train']:
        # JSON Lines形式では、各データポイントをJSON文字列に変換し、新しい行に書き出します。
        json_line = json.dumps(example) + "\n"
        f.write(json_line)

データセット情報

dataset_info: features:

—name: text dtype: string splits:
—name: train numbytes: 1324350631 numexamples: 1196655 downloadsize: 801322767 datasetsize: 1324350631 configs:
—configname: default datafiles:
—split: train path: data/train-*

citation

—https://aclanthology.org/2020.lrec-1.297.pdf