Parakeet-Inc/joyo-kanji-yomi-benchmark-parakeet


日本語 | English

<a id="japanese"></a>

常用漢字読みベンチマーク Parakeet Edition (JKYB-Parakeet)

常用漢字読みベンチマーク Parakeet Edition（JKYB-Parakeet）は、G2Pモデルや形態素解析器、TTSシステムが日本語の文章中の漢字を正しく読めているかを評価するためのベンチマークです。評価に用いるデータセットと評価ツールから構成されます。

このページでは、JKYB-Parakeetのデータセットを公開しています。評価ツールはGitHubで公開しています。

このデータセットは、SB Intuitionsによるデータセットsbintuitions/joyo-kanji-yomi-benchmarkをもとに、Parakeet株式会社が内容の検証を行い、誤りの修正、表記の統一、およびデータの追加等を独自に行ったものです。

概要

このデータセットは、文化庁の常用漢字表の本表に記載されている全ての漢字と読み、および付表に記載されている全ての語と読みに対して、1つの読みにつき3つの例文からなります。それぞれの例文に対しては次のような詳細なアノテーションが付けられています。

上のように、対象とする漢字と読みがどこに現れているかが<>記号でタグ付けされているので、それを利用して「その漢字のその読みがちゃんと読めているかのみ」を計測することができます。 また、文脈上漢字の読みに曖昧性が残る場合の「他の自然な読み」「許容可能な読み」も記録されているので、指標を計算する際はそれらを考慮した上での指標を出すことが可能です。

データ件数は以下のようになっています。

実際のデータファイルは`data/common_kanji_source.jsonl`です。

JKYB-Parakeetのデータセットと元のJKYBデータセットとの差分一覧と詳細はGoogleスプレッドシートにまとめられています。

用いることができるタスク

このデータセットは、「日本語の文章中の漢字をどれほど正確に読めるか」が重要なタスク、例えば次のようなタスクの評価に用いることができます。

1. 1.G2P (Grapheme-to-Phoneme)・形態素解析・読み推定: 与えられたテキストを読みのカタカナ列へ変換する
2. 2.TTS (Text-to-Speech): 与えられたテキストからその発話音声を生成する

使用方法

評価用ツールキットのGitHubリポジトリ を使用することをお勧めします。

元のJKYBとの表記差について注意

もともとのJKYBデータは、TTSの結果音声に対して、カナ列を出力するASRモデル sbintuitions/kana-whisper を使用することを前提としていました。 が、以下の読みの表記方針にある通り、このデータセットでの読み表記は、kana-whisperの出力するカナ列と、そのままでは互換性がありません。 使用する際は、上記 評価用ツールキット を使用するか、そのリポジトリ内部での読みの正規化処理を参考にしてください。

具体例

`data/common_kanji_source.jsonl`の実際のいくつかの具体例を以下に示します。

{
    "key": "固_かためる_1",
    "text": "注文する際、ラーメンの麺を固めでお願いした。",
    "tagged_text": "注文する際、ラーメンの麺を<固>めでお願いした。",
    "yomi": "チュウモンスルサイ、ラーメンノメンヲカタメデオネガイシタ。",
    "tagged_yomi": "チュウモンスルサイ、ラーメンノメンヲ<カタ>メデオネガイシタ。",
    "reading_category": "kun_yomi",
    "readings": {
        "natural": ["カタ"],
        "marginal": []
    },
    "source": "original_fixed"
}
{
    "key": "憧_ショウ_1",
    "text": "彼の文学作品には、理想郷への強い憧憬が見られる。",
    "tagged_text": "彼の文学作品には、理想郷への強い<憧>憬が見られる。",
    "yomi": "カレノブンガクサクヒンニワ、リソウキョウエノツヨイショウケイガミラレル。",
    "tagged_yomi": "カレノブンガクサクヒンニワ、リソウキョウエノツヨイ<ショウ>ケイガミラレル。",
    "reading_category": "on_yomi",
    "readings": {
        "natural": ["ショウ", "ドウ"],
        "marginal": []
    },
    "source": "original_alt"
}
{
    "key": "眼鏡_めがね_0",
    "text": "熱いラーメンを食べると眼鏡が曇る。",
    "tagged_text": "熱いラーメンを食べると<眼鏡>が曇る。",
    "yomi": "アツイラーメンヲタベルトメガネガクモル。",
    "tagged_yomi": "アツイラーメンヲタベルト<メガネ>ガクモル。",
    "reading_category": "joyo_appendix_reading",
    "readings": {
        "natural": [
            "メガネ"
        ],
        "marginal": [
            "ガンキョウ"
        ]
    },
    "source": "added_llm"
}

各項目の詳細については docs/SCHEMA.md ファイルを参照してください。

JKYBからの変更点

このデータセットでは、元のJKYBの問題点・不備を修正し、いくつかのデータの追加を行い、また読み表記についての方針を変更しています。

全ての変更一覧はGoogleスプレッドシートにまとめられています。各項目の見方については docs/CHANGE_METADATA.md を参照してください。

JKYBからの修正

このデータセットは、JKYBを元に、主に以下の方針で既存データからの修正を行いました。

• —元データの例文が自然で、読みも問題ない場合は、元データを維持する
• —元データの不備と思われるものについては以下を行う
• —例文の日本語が明らかに不自然なもの・漢字使用が不適切なもの・例文が重複しているものは、LLMで例文を再生成
• —例文は適切だが読みに明確なミスがあるものは、読みのみを修正
• —ターゲットとなる読みに曖昧性があるデータについては次を行う
• —例文を変えれば曖昧性を排除できるケースは、LLMで例文を再生成
• —曖昧性を排除できないと思われるケースは、「自然な読み」「許容できる読み」を手動アノテーション
• —ターゲットとなる読み以外の読みに曖昧性があるデータについては次を行う
• —以下に示す表に属するものについては、全データで読みや表記を共通のものに統一
• —これらは出現頻度が高い上に、文脈からはどちらが正しいかを決めることが困難なため、ルールベースで統一することとした
• —その他の読みの曖昧性については、文脈上自然な読みへ、適宜修正を行う
• —ただし、他の自然な読みがある場合もあるが、ターゲット以外の箇所なので、厳密な網羅は行わなかった

JKYBからの漢字・読みの追加

元のJKYBでは、提案論文に記載されている通り、常用漢字表の読みのうち、文脈をどう設定しても曖昧さが排除できない読みについては除外されており、抜けている読みが存在します。

また常用漢字表には、本表の他に付表が掲載されており、例えば以下のような、漢字1文字と読みの対応付けが困難だが日常で頻繁に用いられる、いわゆる熟字訓などの読みが列挙されています:

• —今日: キョウ
• —田舎: イナカ
• —風邪: カゼ

前者については、そもそも元のJKYBの中にも曖昧性がある使用例がすでに含まれていたことから、また後者については、熟字訓を適切に読めるかどうかも漢字の読みという点からは重要と思われることから、このデータセットでは、これらの抜けている本表の項目と付表の項目全てを追加しました。

JKYBとのアノテーション方針の違い

このデータセットでは、読みと漢字の表記、および対象とする漢字・読みのタグ付けについて、元のJKYBとは異なる方針を採用しています。

読みの表記方針

元のコーパスでは、例えば「今日は晴れ」の読みは「キョーワハレ」、「小学校」の読みは「ショーガッコー」と表記する、いわゆる発音形の表記が採用されていました。 しかし、以下のような不備と思われる点がありました。

• —読みの表記法に整合性がなく、例えばある文章では 凝縮されている (ギョーシュクサレテイル) なのに対し、他の文では 続いている(ツヅイテール) となっている
• —明らかに読みを機械的に正規化していて、不自然な読みがある: パーティー (パーテーー) など
• —助詞の「へ」「は」の読みが一定数、本来の発音形である「エ」「ワ」ではなく、元のままの「ヘ」「ハ」となっている

このコーパスでは、読みの表記について、次のような一貫した方針をとっています。

• —読みは基本的にいわゆる次に示されるような仮名形を用いる：
• —小学校: ショウガッコウ
• —今日: キョウ
• —それをとって: ソレヲトッテ
• —パーティー: パーティー
• —ただし助詞の「は」「へ」については、発音形の「ワ」「エ」を用いる
• —君へ伝える: キミエツタエル
• —それは楽しい: ソレワタノシイ

漢字の表記方針

次に示す同一漢字の異体字について、コーパス全体で表記を統一しました：

剝→剥, 塡→填, 頰→頬, 龍→竜, 𠮟→叱

また、評価対象の漢字を置換した行では、それに応じてkeyも変更されています。

これは、現在の通常の文脈においては置換後の漢字のほうが多く用いられるため、現実のユースケースでのG2PやTTSの性能を測る目的に対しては、置換後の漢字での性能を測った方がよいと判断したためです。

タグ付け方針

元のJKYBでは、特に送り仮名を含む漢字に対して、どこまでタグ付けするかが統一されておらず、文ごとにばらつきがありました。 このデータセットでは、タグ付けの範囲を、対象とする漢字に対応する最小範囲のみに統一し、またさらに漢字表記にも対応範囲のタグ付けを行いました:

• —固める -> <固>める: <カタ>メル
• —売れない -> <売>れない: <ウ>レナイ

テキストの自然性や読みのチェックについて

元のJKYBコーパスから変更・追加を行なった全ての行について妥当性を、日本語ネイティブが人手で確認して、変更が妥当であるか、読みが正しいか、曖昧性はないか（ある場合は適切にアノテーションされているか）、を確認しています。

引用

本派生データセットを使用する場合は、元ベンチマークの論文を引用してください。

@misc{liu2026sarashina22ttstacklingkanjipolyphony,
  title={Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis},
  author={Lianbo Liu and Shiao Zhu and Kai Washizaki and Reo Yoneyama and Haesung Jeon and Mengjie Zhao and Yusuke Fujita and Hao Shi and Nao Yoshida and Yuan Gao and Roman Koshkin and Yukiya Hono and Yui Sudo},
  year={2026},
  eprint={2606.25369},
  archivePrefix={arXiv},
  primaryClass={cs.SD},
  url={https://arxiv.org/abs/2606.25369}
}

あわせて、使用データを Joyo Kanji Yomi Benchmark: Parakeet Edition（parakeet-inc/joyo-kanji-yomi-benchmark-parakeet）と明記してください。

ライセンス

MITライセンスです。元データの著作権表示と帰属については LICENSE と NOTICE を参照してください。

<a id="english"></a>

Joyo Kanji Yomi Benchmark: Parakeet Edition (JKYB-Parakeet)

The Joyo Kanji Yomi Benchmark: Parakeet Edition (JKYB-Parakeet) is a benchmark for evaluating how well G2P models, morphological analyzers, and text-to-speech (TTS) systems read kanji in Japanese sentences. It consists of an evaluation dataset and an evaluation toolkit.

This page provides the JKYB-Parakeet dataset. The evaluation toolkit is available on GitHub.

This dataset is based on sbintuitions/joyo-kanji-yomi-benchmark from SB Intuitions. Parakeet Inc. independently reviewed its contents, corrected errors, standardized notation, and added data.

Overview

The dataset contains three example sentences for every kanji-reading entry in the main table and every word-reading entry in the appendix of the official Joyo Kanji Table published by the Agency for Cultural Affairs. Each sentence is provided with detailed annotations such as the following.

As shown above, the locations of the target kanji and reading are marked with <>. These tags make it possible to measure only whether that kanji was read correctly with the target reading. When a kanji reading remains ambiguous in context, the dataset also records its other natural and marginal readings, allowing evaluation metrics to account for them.

Dataset statistics are as follows.

The dataset is provided in `data/common_kanji_source.jsonl`.

A complete comparison between the JKYB-Parakeet dataset and the original JKYB dataset, together with details of every change, is available in this Google spreadsheet.

Supported Tasks

This dataset can be used to evaluate tasks in which accurately reading kanji in Japanese sentences is important, including:

1. 1.G2P (Grapheme-to-Phoneme), morphological analysis, or reading prediction: converting input text into katakana reading sequences
2. 2.TTS (Text-to-Speech): generating speech from input text

Usage

We recommend using the evaluation toolkit on GitHub.

Note on Notation Differences from the Original JKYB

The original JKYB data assumes the use of sbintuitions/kana-whisper, an ASR model that outputs kana sequences, to transcribe synthesized TTS audio. However, as explained in Reading Notation Policy, the reading notation used by this dataset is not directly compatible with the kana sequences output by kana-whisper.

When using this dataset, use the evaluation toolkit above or refer to the reading-normalization implementation in that repository.

Examples

The following are several records taken directly from `data/common_kanji_source.jsonl`.

{
    "key": "固_かためる_1",
    "text": "注文する際、ラーメンの麺を固めでお願いした。",
    "tagged_text": "注文する際、ラーメンの麺を<固>めでお願いした。",
    "yomi": "チュウモンスルサイ、ラーメンノメンヲカタメデオネガイシタ。",
    "tagged_yomi": "チュウモンスルサイ、ラーメンノメンヲ<カタ>メデオネガイシタ。",
    "reading_category": "kun_yomi",
    "readings": {
        "natural": ["カタ"],
        "marginal": []
    },
    "source": "original_fixed"
}
{
    "key": "憧_ショウ_1",
    "text": "彼の文学作品には、理想郷への強い憧憬が見られる。",
    "tagged_text": "彼の文学作品には、理想郷への強い<憧>憬が見られる。",
    "yomi": "カレノブンガクサクヒンニワ、リソウキョウエノツヨイショウケイガミラレル。",
    "tagged_yomi": "カレノブンガクサクヒンニワ、リソウキョウエノツヨイ<ショウ>ケイガミラレル。",
    "reading_category": "on_yomi",
    "readings": {
        "natural": ["ショウ", "ドウ"],
        "marginal": []
    },
    "source": "original_alt"
}
{
    "key": "眼鏡_めがね_0",
    "text": "熱いラーメンを食べると眼鏡が曇る。",
    "tagged_text": "熱いラーメンを食べると<眼鏡>が曇る。",
    "yomi": "アツイラーメンヲタベルトメガネガクモル。",
    "tagged_yomi": "アツイラーメンヲタベルト<メガネ>ガクモル。",
    "reading_category": "joyo_appendix_reading",
    "readings": {
        "natural": [
            "メガネ"
        ],
        "marginal": [
            "ガンキョウ"
        ]
    },
    "source": "added_llm"
}

See `docs/SCHEMA.md` for details of each field.

Changes from JKYB

This dataset corrects problems and deficiencies in the original JKYB, adds data, and adopts a different reading-notation policy.

A complete list of every change is available in this Google spreadsheet. See `docs/CHANGE_METADATA.md` for an explanation of its fields and labels.

Corrections to JKYB

This dataset was created from JKYB by revising existing data primarily according to the following policies.

• —Preserve the original data when its example sentence is natural and its reading presents no problem.
• —For apparent deficiencies in the source data:
• —Regenerate the example sentence with an LLM when the Japanese is clearly unnatural, the kanji usage is inappropriate, or the example duplicates another sentence.
• —Correct only the reading when the sentence is appropriate but its reading contains a clear error.
• —For data with an ambiguous target reading:
• —Regenerate the example sentence with an LLM when changing the sentence can eliminate the ambiguity.
• —Manually annotate natural and marginal readings when the ambiguity cannot be eliminated.
• —For ambiguity outside the target reading:
• —Standardize the readings and notation of the words in the table below throughout the dataset.
• —These words occur frequently and it is often impossible to determine from context which reading is correct, so they are standardized using rule-based processing.
• —Other reading ambiguities are corrected as appropriate to a reading that is natural in context.
• —Other natural readings may also exist, but because these locations are outside the target span, they were not exhaustively annotated.

Kanji-Reading Additions to JKYB

As described in the paper proposing the original benchmark, the original JKYB excludes readings from the official Joyo Kanji Table whose ambiguity cannot be eliminated regardless of context. Consequently, some readings are absent from the original dataset.

In addition to the main table, the official Joyo Kanji Table contains an appendix listing words and readings such as the following. These include jukujikun and other common readings that are difficult to map to individual kanji.

• —今日: キョウ
• —田舎: イナカ
• —風邪: カゼ

This dataset adds every missing main-table entry and every appendix entry. The former are included because the original JKYB already contains some examples with ambiguous readings. The latter are included because correctly reading jukujikun is also important when evaluating kanji readings.

Differences in Annotation Policy

This dataset adopts policies for reading and kanji notation, as well as for tagging the target kanji and reading, that differ from those of the original JKYB.

<a id="reading-notation-policy"></a>

Reading Notation Policy

The original corpus uses so-called pronunciation forms, such as キョーワハレ for 今日は晴れ and ショーガッコー for 小学校. This approach has the following apparent deficiencies.

• —Reading notation is inconsistent. For example, one sentence uses 凝縮されている (ギョーシュクサレテイル), while another uses 続いている (ツヅイテール).
• —Some readings appear to have been mechanically normalized, producing unnatural forms such as パーティー (パーテーー).
• —A number of instances of the particles へ and は remain as ヘ and ハ instead of their pronunciation forms エ and ワ.

This dataset uses the following consistent policy:

• —Readings generally use orthographic kana forms, as in the following examples:
• —小学校: ショウガッコウ
• —今日: キョウ
• —パーティー: パーティー
• —それをとって: ソレヲトッテ
• —The particles は and へ, however, use their pronunciation forms ワ and エ:
• —君へ伝える: キミエツタエル
• —それは楽しい: ソレワタノシイ

Kanji Orthography Policy

The following kanji variants have been standardized throughout the corpus:

剝→剥, 塡→填, 頰→頬, 龍→竜, 𠮟→叱

When a target kanji was replaced, the corresponding key was also changed.

The replacement forms are more widely used in ordinary modern contexts. We therefore determined that evaluating G2P and TTS performance on those forms better reflects real-world use.

Target-Span Annotation Policy

In the original JKYB, the extent of the tagged span is inconsistent across sentences, particularly for kanji followed by okurigana. This dataset consistently limits each tag to the smallest span corresponding to the target kanji and also tags the corresponding span in the written sentence:

• —固める -> <固>める: <カタ>メル
• —売れない -> <売>れない: <ウ>レナイ

Manual Review of Text and Readings

Every row changed or added relative to the original JKYB was manually reviewed for validity by a native Japanese speaker. The review checked whether the change was appropriate, whether the reading was correct, whether any ambiguity remained, and, where ambiguity existed, whether it was appropriately annotated.

Citation

When using this derivative dataset, please cite the paper for the original benchmark.

@misc{liu2026sarashina22ttstacklingkanjipolyphony,
  title={Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis},
  author={Lianbo Liu and Shiao Zhu and Kai Washizaki and Reo Yoneyama and Haesung Jeon and Mengjie Zhao and Yusuke Fujita and Hao Shi and Nao Yoshida and Yuan Gao and Roman Koshkin and Yukiya Hono and Yui Sudo},
  year={2026},
  eprint={2606.25369},
  archivePrefix={arXiv},
  primaryClass={cs.SD},
  url={https://arxiv.org/abs/2606.25369}
}

Please also identify the dataset as Joyo Kanji Yomi Benchmark: Parakeet Edition (parakeet-inc/joyo-kanji-yomi-benchmark-parakeet).

License

This dataset is released under the MIT License. See LICENSE and NOTICE for the original copyright notice and attribution.