datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
Opencode1cleaned_nvidia_OpenCodeReasoning元データ: https://huggingface.co/datasets/nvidia/OpenCodeReasoning
データ件数: 11,275
平均トークン数: 11251
最大トークン数: 19,802
合計トークン数: 126,859,041
ファイル形式: JSONL
ファイルサイズ: 707.4 MB
難易度スコアが15, カテゴリがcompetition、ライセンスがmitとcc-by-4.0をピックアップ
繰り返し除去
極端に少ない・多いなどを除去
詳しいコードはGithub
https://github.com/LLMTeamAkiyama/0-data_prepare/tree/master/src/opencodereasoning
opencoder_data_batch