ks-pf/JMTEB-fixed
JMTEB-fixed このリポジトリは元のJMTEBデータセットのUTF-8エンコーディングエラーを修正したバージョンです。 修正内容 問題 NLP Journal LaTeXコーパスの一部ファイル（例: V28N02-25.tex）が異なるエンコーディング（Shift-JIS、EUC-JPなど）で保存されており、UTF-8デコーディングエラーが発生していました。 解決策 retrieval.pyのNLPJournalHelper.load_txtメソッドを修正し、複数のエンコーディングを順次試行するようにしました。 使用方法 from datasets import load_dataset dataset = load_dataset( "ks-pf/JMTEB-fixed", name="nlp_journal_title_abs-corpus", trust_remote_code=True )… See the full description on the dataset page: https://huggingface.co/datasets/ks-pf/JMTEB-fixed.
Conversations for this repository live on Hugging Face.
CoolFace shows imported repositories read-only. Posting into someone else’s repository from here would need an authorised integration and the account holder’s consent, so the link goes to the source instead.
Open discussions on Hugging Face