ks-pf/JMTEB-fixed

JMTEB-fixed このリポジトリは元のJMTEBデータセットのUTF-8エンコーディングエラーを修正したバージョンです。 修正内容 問題 NLP Journal LaTeXコーパスの一部ファイル（例: V28N02-25.tex）が異なるエンコーディング（Shift-JIS、EUC-JPなど）で保存されており、UTF-8デコーディングエラーが発生していました。 解決策 retrieval.pyのNLPJournalHelper.load_txtメソッドを修正し、複数のエンコーディングを順次試行するようにしました。 使用方法 from datasets import load_dataset dataset = load_dataset( "ks-pf/JMTEB-fixed", name="nlp_journal_title_abs-corpus", trust_remote_code=True )… See the full description on the dataset page: https://huggingface.co/datasets/ks-pf/JMTEB-fixed.