datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
alpaca_multi_language_train_reasoning_simple
このデータセットは、有名なALPACAデータセットの一部を使ったデータセットです。
##日本語と英語(プラス中国語)の同じ情報が記載されています。
「Reasoning」というプロンプトを使えるようにしています。
Reasoningを使用することにより、予測精度を上げられるようにしました。
Reasoningの内容は、回答に使用すべき言語をしているだけです。
必要に応じて、ユーザーが変更してみてください。
「Category」という属性で、レコードが分類されています。
open_qa, closed_qa, classification
brainstorm, creative
translation, question_to_question
「Reasoning」を推論するためのレコードが追加されています。
詳しい情報はこちらのブログを参考にしてください。
multi_language_train0625
経緯
このデータセットはQEUプロジェクトのBONSAI2の学習のために開発されました。
特長
alpacaデータセットの一部がベースですが、大幅に変更されています。
言語： 英語、日本語、中国語
reasoningという情報が入っています。使わなくともかまいません。
open_qa, closed_qa, classification, evaluation, question to question
参考サイト
QEUR23_ CHRLTM14 : 閑話休題～Predibaseでfinetuneを使ってみる（SOLAR LLM）
multi-language-messages-01CodeTransOceanのMultilingualTransデータセットのsplit trainをopenAI messages形式に調整。