p1atdev/ja-stackoverflow

ja-stackoverflow

日本語版 Stack Overflow の スタック・オーバーフロー のデータダンプ をもとにデータを加工し、質問文と回答文のペアになるように調整した QA データセット。

データ構造

投稿本文は html2text を使ってマークダウン化されています。その際、

• —コードブロックは \\\` で囲まれるように変更されています。
• —画像 URL に base64 エンコードされた画像が含まれる場合、 [unk] に置き換えています。

default サブセット

• —id: 質問投稿の ID
• —question: 質問投稿
• —answers: 質問に対する回答投稿のリスト
• —accepted_answer_id: 質問者に選ばれた回答のID。null の可能性がある
• —popular_answer_id: もっともスコアが高かった回答のID。null の可能性がある

simple サブセット

default サブセットから、 question と answers の辞書を展開しシンプルにしたもの。

• —id: 質問投稿の ID
• —accepted_answer_id: 質問者に選ばれた回答のID。null の可能性がある
• —popular_answer_id: もっともスコアが高かった回答のID。null の可能性がある
• —title: 質問のタイトル
• —question_body: 質問本文
• —question_score: 質問のスコア
• —tags: 質問に関連付けられたタグ
• —accepted_answer_body: 質問者に選ばれた回答の本文。null の可能性がある
• —accepted_answer_score: 質問者に選ばれた回答のスコア。null の可能性がある
• —popular_answer_body: もっともスコアが高かった回答の本文。null の可能性がある
• —popular_answer_score: もっともスコアが高かった回答のスコア。null の可能性がある

使い方

datasets ライブラリを用いて簡単に利用できます。

from datasets import load_dataset

dataset = load_dataset("p1atdev/ja-stackoverflow", name="simple" split="train")

print(dataset)
#Dataset({
#    features: ['id', 'accepted_answer_id', 'popular_answer_id', 'title', 'question_body', 'question_score', 'accepted_answer_body', 'accepted_answer_score', 'popular_answer_body', 'popular_answer_score', 'tags'],
#    num_rows: 30551
#})

ライセンス

StackOverflow に基づき、CC BY-SA 4.0