Datasetpublic

hotchpotch/fineweb-2-edu-japanese-noise-detect-raw

fineweb-2-edu-japanese の small_tokens の text カラムをユニコード正規化(NFKC)したものを fineweb-2-japanese-text-cleaner を使ってノイズ箇所を推論したRAWデータセットです。このデータセットで、ノイズ文字列を削除したのものを、fineweb-2-edu-japaneseのsmall_tokens_cleanedサブセットとして公開しています。推論時のパラメータは閾値0.7以上かつノイズの文字列長4文字以上のものを、noise_spans カラムに付与しています。noise_spans は start_pos, end_pos のペアとなってます。ライセンス ODC-By

sourceHugging Faceodc-byupdated 2y agoView on Hugging Face

0likes105downloads

Dataset Card

fineweb-2-edu-japanese の small_tokens の text カラムをユニコード正規化(NFKC)したものを fineweb-2-japanese-text-cleaner を使ってノイズ箇所を推論したRAWデータセットです。

このデータセットで、ノイズ文字列を削除したのものを、fineweb-2-edu-japaneseのsmalltokenscleanedサブセットとして公開しています。

推論時のパラメータは閾値0.7以上かつノイズの文字列長4文字以上のものを、noise_spans カラムに付与しています。noisespans は startpos, end_pos のペアとなってます。

ライセンス

ODC-By