CoolFace
Datasetpublic

sakusakumura/databricks-dolly-15k-ja-scored

For the English version, please click here. 概要 databricks-dolly-15k-ja-scoredはkunishou/databricks-dolly-15k-jaの派生であり、BERTScoreによって提供される翻訳品質スコアが追加されています。 このデータセットは、学術的・商業的問わずクリエイティブ・コモンズ 表示 - 継承 3.0 非移植ライセンスの条件の下で何にでも使用することができます。 翻訳の品質スコア databricks-dolly-15k-jaは、databricks-dolly-15kを機械翻訳したものです。databricks-dolly-15k-jaに含まれるデータを調べてみると、以下のような品質の悪いデータが存在することが分かりました。 inputとoutputが全く同じであるデータ outputがinstructionにコピーされているデータ 表記ゆれによって表現の一貫性が保たれていないデータ 固有名詞などの翻訳に失敗しているデータ… See the full description on the dataset page: https://huggingface.co/datasets/sakusakumura/databricks-dolly-15k-ja-scored.

sourceHugging Facecc-by-sa-3.0updated 3y agoView on Hugging Face
6likes28downloads
Dataset Card

For the English version, please click here.

概要

databricks-dolly-15k-ja-scoredはkunishou/databricks-dolly-15k-jaの派生であり、BERTScoreによって提供される翻訳品質スコアが追加されています。

このデータセットは、学術的・商業的問わずクリエイティブ・コモンズ 表示 - 継承 3.0 非移植ライセンスの条件の下で何にでも使用することができます。

翻訳の品質スコア

databricks-dolly-15k-jaは、databricks-dolly-15kを機械翻訳したものです。 databricks-dolly-15k-jaに含まれるデータを調べてみると、以下のような品質の悪いデータが存在することが分かりました。

  1. 1.inputとoutputが全く同じであるデータ
  2. 2.outputがinstructionにコピーされているデータ
  3. 3.表記ゆれによって表現の一貫性が保たれていないデータ
  4. 4.固有名詞などの翻訳に失敗しているデータ

なお、databricks-dolly-15kでは、

  • —1.に当てはまるデータは削除されています。
  • —2.に当てはまるデータはinstructionが削除されてカテゴリがopen-qaに変更されています。
  • —差別的な内容を含むデータ（１件）が削除されています。

そこで、これらのデータを日本語から英語に逆翻訳し、BertScoreによって原文との類似度を調べました。 以下がprecisionとrecallの調和平均であるf1 scoreのヒストグラムです。

<div align="center"> <img src="https://media.githubusercontent.com/media/Sakusakumura/databricks-dolly-15k-ja-scored/e46aec8f9d2602e9e7c074674390263462534a9a/images/f1-score-full.png"> </div>

これらのスコアでフィルタリングをすることで、低品質のデータを除外することができます。 いくつか例を示します。

<details> <summary>outputがinstructionにコピーされているデータ</summary>

indexf1 score
11510.599859416

candidate（databricks-dolly-15k-jaのデータを逆翻訳したもの）

instructioninputoutput
Linda Hargreaves is a British actress who has appeared on both stage and screen, making her television debut on the BBC soap opera "Doctors," and has since returned to the soap in three different roles, most recently as a regular on Constance Buchanan. She has also appeared in various television series, including "Containment" and "Call the Midwife."About Linda HargreavesLinda Hargreaves is a British actress who has appeared on both stage and screen, making her television debut on the BBC soap opera "Doctors," and has since returned to the soap in three different roles, most recently as a regular on Constance Buchanan. She has also appeared in various television series, including "Containment" and "Call the Midwife."

reference（databricks-dolly-15k）

instructioninputoutput
(empty)Who is Linda HargreavesLinda Hargreaves is a British actress who has appeared on both stage and screen. She made her television debut in the BBC soap opera Doctors and has since returned to the soap on three separate occasions in different roles, most recently in the recurring role of Constance Buchanan. She has also appeared in various television series including Containment and Call the Midwife.

json

json
{
    "index": "1151",
    "instruction": "リンダ・ハーグリーヴスとは",
    "input": "リンダ・ハーグリーヴスはイギリスの女優で、舞台とスクリーンの両方に出演している。BBCのソープオペラ「ドクターズ」でテレビデビューし、その後、3度にわたって異なる役柄でソープに復帰し、最近ではコンスタンス・ブキャナンのレギュラー役を演じている。また、「Containment」や「Call the Midwife」など、さまざまなテレビシリーズにも出演している。",
    "output": "リンダ・ハーグリーヴスはイギリスの女優で、舞台とスクリーンの両方に出演している。BBCのソープオペラ「ドクターズ」でテレビデビューし、その後、3度にわたって異なる役柄でソープに復帰し、最近ではコンスタンス・ブキャナンのレギュラー役を演じている。また、「Containment」や「Call the Midwife」など、さまざまなテレビシリーズにも出演している。",
    "category": "summarization"
}

</details>

<details> <summary>固有名詞などの翻訳に失敗しているデータ</summary>

indexf1 score
11570.580275774

candidate（databricks-dolly-15k-jaのデータを逆翻訳したもの）

instructioninputoutput
(empty)Which type of fish? Mutsugoro and Afromullet (hairstyle)

reference（databricks-dolly-15k）

instructioninputoutput
(empty)Which is a species of fish? Mullet or AfroMullet

source:

json
{
    "index": "1157",
    "instruction": "魚の種類はどれ？ムツゴロウとアフロ",
    "input": "",
    "output": "マレット",
    "category": "classification"
}

</details>

注意点

導き出されるスコアは、和英翻訳に使用するサービス、BertScoreで用いるモデルによって変動します。 学習に使用しても問題ないデータでも、和英翻訳の精度によってスコアが下がることがあります。

<details> <summary>例</summary>

indexf1 score
5650.799999774

candidate（databricks-dolly-15k-jaのデータを逆翻訳したもの）

instructioninputoutput
(empty)At the 64th Grammy Awards, the winner of the Best Album of the Year award wasJohn Baptiste Wins Best Album of the Year at the 64th Annual Grammy Awards

reference（databricks-dolly-15k）

instructioninputoutput
(empty)In 64th Annual Grammy Awards, best album of the year award was given toJon Batiste was awarded the best album of the year in 64th Annual Grammy Awards"

source:

json
{
    "index": "1157",
    "instruction": "魚の種類はどれ？ムツゴロウとアフロ",
    "input": "",
    "output": "マレット",
    "category": "classification"
}

source:

json
{
    "index": "565",
    "instruction": "第64回グラミー賞で、年間最優秀アルバム賞を受賞したのは",
    "input": "",
    "output": "ジョン・バティスト、第64回グラミー賞で年間最優秀アルバム賞を受賞",
    "category": "open_qa"
}

</details> <br>

各フィールドの説明

追加した部分と、注意が必要な項目のみ説明します。

1. index

データの一意の識別子。 元々はdatabricks-dolly-15kのどの行を翻訳したものかを示すフィールドでしたが、databricks-dolly-15kで削除された要素を反映していないため、実際の行数とは異なっています。

フィールド名説明
indexデータの一意の識別子

2. bertscore

BERTモデルによる評価スコア。 recall、precision、f1の3つの指標を持ちます。

フィールド名説明
recall再現率（正解テキストに含まれる情報が、生成されたテキストにどれだけ反映されているかを示す指標）
precision適合率（生成されたテキストの各部分が、正解テキストとどれだけ一致しているかを示す指標）
f1F1スコア（精度と再現率の調和平均。）

3. translator

使用された翻訳サービスの情報。 "enja" と "jaen" の2つのフィールドがあり、それぞれ英語から日本語へ、日本語から英語への翻訳に使用されたサービスを表しています。

フィールド名説明
en_ja英語から日本語への翻訳に使用されたサービス
ja_en日本語から英語への翻訳に使用されたサービス

謝辞

このデータセットdatabricks-dolly-15k-ja-scoredは、クニえもんさんが作成したdatabricks-dolly-15k-jaデータセットを基にしています。 クニえもんさんの貴重な作業とコミュニティへの貢献に深く感謝申し上げます。

License/Credits

  • —databricks-dolly-15k-ja-scored Copyright (2023) Sakusakumura. This dataset is licensed under CC BY-SA 3.0.
  • —databricks-dolly-15k-ja Developed by kun1em0n. Available at https://github.com/kunishou/databricks-dolly-15k-ja. This dataset is licensed under CC BY-SA 3.0.
  • —databricks-dolly-15k Developed by Databricks, Inc. Available at https://huggingface.co/datasets/databricks/databricks-dolly-15k. This dataset is licensed under CC BY-SA 3.0.