datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
Bluemoon_Top50MB_Sorted_Fixed_ja
Bluemoon_Top50MB_Sorted_Fixed_ja
SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixedを、GENIAC-Team-Ozaki/karakuri-lm-8x7b-chat-v0.1-awqを用いて日本語に翻訳したロールプレイ学習用データセットです。
LLMの推論にはDeepInfraというサービスを使いました。
翻訳の詳細
3-shots promptingでの翻訳
mistralのtokenizerで出力が8000トークンを超えるまで翻訳
元データセットにある非常に長い対話は上記条件で途中のターンで翻訳を終了しています。
LLM特有の同じ出力が繰り返される現象に遭遇した場合、その時点で該当レコードの翻訳を終了
この結果1ターン未満となったレコード（157件）を削除… See the full description on the dataset page: https://huggingface.co/datasets/Aratako/Bluemoon_Top50MB_Sorted_Fixed_ja.Bluemoon_Top50MB_Sorted_Fixed
Bluemoon Top 50MB - Fully checked for grammar errors and sorted
Dataset Details
This is the top 50MB of the Bluemoon RP dataset, with the original IDs unchanged (As far as I know).
Grammar fixed
ShareGPT Format
Each entry contains the number of tokens in both LLAMA1 and LLAMA3 tokenizers
Each entry contains the number of characters
Original IDs remain unchanged (so you can compare them with the original entries in the original Bluemoon dataset)
System prompt added for… See the full description on the dataset page: https://huggingface.co/datasets/SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed.Top_500_unsafe_for_children_prompttop5qwen_rollout_frames_per_task_top5_deprecatedqwen_rollout_frames_pi05_perturb_top5_fixedMagpie_coding_sfairXC_ArmoRM_top5_reward_differenceqwen_rollout_frames_smolvla_basic_top5_fixedTop50Movies