hf-internal-testing/tokenizers-test-data
tokenizers-test-data Test and benchmark fixtures for huggingface/tokenizers, pulled on demand by the repo Makefiles (make test / make bench / make fixtures via hf download). Layout fixtures/ — multilingual + modality corpora for cross-language encode benchmarks. Organized, documented, and reproducible: see fixtures/FIXTURES.md for provenance and fixtures/fixtures_manifest.json for exact sources, pinned revisions, and sizes. Rebuild any file with… See the full description on the dataset page: https://huggingface.co/datasets/hf-internal-testing/tokenizers-test-data.
023k
1{2 "unk_id": 0,3 "vocab": [4 ["<unk>", 0.0],5 ["<s>", 0.0],6 ["</s>", 0.0],7 ["<ctrl>", 0.0],8 ["<user>", 0.0],9 ["》", -3.12731],10 ["《", -3.12827],11 ["、", -3.34413],12 ["。", -3.48664],13 ["」", -3.83205],14 [" 「", -3.93615],15 ["い", -3.98435],16 ["\r", -4.01368],17 ["の", -4.11801],18 ["に", -4.28232],19 ["が", -4.3241],20 ["と", -4.50126],21 ["を", -4.52434],22 ["は", -4.5444],23 ["か", -5.17557],24 ["で", -5.20692],25 ["。\r", -5.22051],26 ["も", -5.2648],27 ["から", -5.34844],28 ["な", -5.37704],29 ["し", -5.48062],30 ["る", -5.57728],31 ["って", -5.60917],32 ["く", -5.61434],33 ["さ", -5.7408],34 ["き", -5.76638],35 ["た", -5.79573],36 ["だ", -5.84874],37 ["て", -5.87842],38 [" ", -5.92833],39 ["ね", -5.94912],40 ["り", -5.98196],41 ["よ", -5.99083],42 ["である", -5.99854],43 ["］", -6.01874],44 ["して", -6.09796],45 ["へ", -6.13678],46 ["｜", -6.16411],47 ["ら", -6.17947],48 ["する", -6.18073],49 ["や", -6.2324],50 ["あ", -6.2558],51 ["した", -6.28619],52 ["お", -6.30308],53 ["す", -6.31759],54 ["でも", -6.32511],55 ["った", -6.33882],56 ["こ", -6.35195],57 ["御", -6.3619],58 ["わ", -6.36762],59 ["ない", -6.39548],60 ["ま", -6.42023],61 ["［＃「", -6.45437],62 ["「", -6.48682],63 ["と云う", -6.50098],64 ["そう", -6.51969],65 ["この", -6.53939],66 ["う", -6.54284],67 ["つ", -6.55221],68 ["人", -6.5746],69 ["主人は", -6.59021],70 ["一", -6.5926],71 ["その", -6.60657],72 ["け", -6.6303],73 ["み", -6.63096],74 ["傍点", -6.64681],75 ["こう", -6.68448],76 ["君", -6.69198],77 ["大", -6.70338],78 ["……」", -6.72041],79 ["だから", -6.72506],80 ["——", -6.81497],81 ["なら", -6.83313],82 ["め", -6.83538],83 ["です", -6.85637],84 ["ある", -6.86185],85 ["事", -6.86259],86 ["ん", -6.89935],87 ["え", -6.90775],88 ["している", -6.94287],89 ["には", -6.95969],90 ["先生", -6.96602],91 ["れ", -6.97139],92 ["何", -7.01029],93 ["ず", -7.01307],94 ["見", -7.04466],95 ["じ", -7.04535],96 ["ち", -7.04649],97 ["しかし", -7.06203],98 ["せ", -7.06863],99 ["ただ", -7.07339],100 ["また", -7.08072],101 ["ええ", -7.08212],102 ["む", -7.08839],103 ["ご", -7.0967],104 ["気", -7.10697],105 [" ［＃", -7.14417],106 ["もう", -7.16543],107 ["ちょっと", -7.17481],108 ["字下げ", -7.19936],109 ["ば", -7.22294],110 ["？」", -7.22813],111 ["だろう", -7.24077],112 ["まあ", -7.245],113 ["そ", -7.24789],114 ["ばかり", -7.24968],115 ["」「", -7.25976],116 ["かん", -7.26027],117 ["そんな", -7.27697],118 ["心", -7.27802],119 ["少し", -7.28103],120 ["もの", -7.288],121 ["あの", -7.29005],122 ["出", -7.2935],123 ["者", -7.29838],124 ["そろ", -7.3017],125 ["っ", -7.3056],126 ["物", -7.31355],127 ["時", -7.31482],128 ["々", -7.3182],129 ["まで", -7.32673],130 ["っている", -7.33154],131 ["よく", -7.33249],132 ["ふ", -7.33831],133 ["ろう", -7.33848],134 ["いて", -7.3412],135 ["のは", -7.3462],136 ["手", -7.34801],137 ["中", -7.35043],138 ["。「", -7.35994],139 ["うち", -7.36407],140 ["ぜ", -7.36512],141 ["いた", -7.3679],142 [" ", -7.3786],143 ["それで", -7.39331],144 ["んで", -7.40934],145 ["吾輩は", -7.41313],146 ["かい", -7.41776],147 ["んだ", -7.41981],148 ["。——", -7.42446],149 ["だって", -7.43044],150 ["はい", -7.44296],151 ["と主人は", -7.44712],152 ["より", -7.45924],153 ["日", -7.45929],154 ["じゃないか", -7.46035],155 ["今", -7.46293],156 ["ぶ", -7.46397],157 ["ひ", -7.47301],158 ["主人", -7.47311],159 ["ぬ", -7.47528],160 ["候", -7.47982],161 ["しょう", -7.48411],162 ["方", -7.48826],163 ["家", -7.48856],164 ["生", -7.49722],165 ["口", -7.49973],166 ["ている", -7.50365],167 ["上", -7.51513],168 ["になる", -7.51649],169 ["本", -7.51864],170 ["来", -7.5224],171 ["ろ", -7.5257],172 ["よう", -7.52754],173 ["まだ", -7.52755],174 ["無", -7.5327],175 ["ぜん", -7.54025],176 ["ので", -7.55122],177 ["いや", -7.55728],178 ["分", -7.57714],179 ["二", -7.5889],180 ["金", -7.59346],181 ["さん", -7.59427],182 ["なるほど", -7.59441],183 ["ですか", -7.607],184 ["おお", -7.60728],185 ["所", -7.61057],186 ["ど", -7.61274],187 ["足", -7.61469],188 ["子", -7.62397],189 ["れば", -7.62477],190 ["じゃ", -7.62526],191 ["猫", -7.62706],192 ["として", -7.62867],193 ["顔", -7.63987],194 ["下", -7.64371],195 ["がある", -7.64801],196 ["とも", -7.65034],197 ["君は", -7.65277],198 ["前", -7.65582],199 ["かね", -7.65981],200 ["んです", -7.67283],201 ["私", -7.67862],202 ["をして", -7.68129],203 ["頭", -7.68151],204 ["ぎ", -7.684],205 ["しん", -7.68604],206 ["ぐ", -7.69364],207 ["はない", -7.69388],208 ["それから", -7.70084],209 ["小", -7.7027],210 ["風", -7.70386],211 ["これ", -7.70457],212 ["だいぶ", -7.70591],213 ["にも", -7.70892],214 ["ながら", -7.7116],215 ["後", -7.71498],216 ["なる", -7.71538],217 ["間", -7.71726],218 ["名", -7.72458],219 ["そりゃ", -7.72951],220 ["のように", -7.7304],221 ["ざ", -7.73187],222 ["行", -7.73364],223 ["せん", -7.73477],224 ["をする", -7.75449],225 ["どうも", -7.75845],226 ["ほう", -7.76325],227 ["だね", -7.7686],228 ["げ", -7.77132],229 ["こんな", -7.77518],230 ["不", -7.77783],231 ["それじゃ", -7.77806],232 ["言", -7.77832],233 ["終", -7.77853],234 ["面白い", -7.78245],235 ["目", -7.78684],236 ["昔", -7.80159],237 ["くらい", -7.80377],238 ["とう", -7.80598],239 ["主人の", -7.80754],240 ["び", -7.81151],241 ["三", -7.81582],242 ["すると", -7.82702],243 ["然", -7.82905],244 ["月", -7.83016],245 ["ねえ", -7.83792],246 ["どう", -7.84236],247 ["らん", -7.84468],248 ["いる", -7.84605],249 ["になって", -7.84802],250 ["向", -7.85366],251 ["度", -7.85466],252 ["ちょう", -7.86121],253 ["ものは", -7.86991],254 ["来た", -7.8752],255 ["やはり", -7.87907],256 ["這入", -7.88124],257 ["面", -7.88152],258 ["だよ", -7.88447],259 ["たる", -7.88625],260 ["でしょう", -7.88671],261 ["迷亭", -7.88731],262 ["何でも", -7.89042],263 ["くる", -7.89274],264 ["今日", -7.8937],265 ["うん", -7.89892],266 ["事は", -7.89984],267 ["見ると", -7.90005],268 ["訳", -7.90243],269 ["云う", -7.90453],270 ["僕は", -7.9054],271 ["年", -7.91216],272 ["東風君", -7.91382],273 ["ここで", -7.91631],274 ["あと", -7.92035],275 ["えん", -7.92707],276 ["かも知れない", -7.92932],277 ["ところが", -7.93107],278 ["寝", -7.93417],279 ["鼻", -7.93779],280 ["わり", -7.93983],281 ["寒月君", -7.94066],282 ["ですよ", -7.9425],283 ["という", -7.94285],284 ["つか", -7.94302],285 ["極", -7.94325],286 ["２", -7.94341],287 ["じょう", -7.9438],288 ["どこ", -7.94685],289 ["何だか", -7.94745],290 ["なんか", -7.94814],291 ["いくら", -7.96431],292 ["じゃありませんか", -7.96541],293 ["ような", -7.96651],294 ["夜", -7.96679],295 ["わたし", -7.96915],296 ["だけ", -7.97207],297 ["なり", -7.97324],298 ["あばた", -7.97364],299 ["ここから", -7.97581],300 ["さえ", -7.97967],301 ["など", -7.98909],302 ["がない", -7.99108],303 ["女", -7.99475],304 ["金田", -7.99476],305 ["来て", -7.99506],306 ["眼", -7.99566],307 ["事を", -7.99803],308 ["力", -8.00436],309 ["あなた", -8.00563],310 ["けん", -8.01119],311 ["なかなか", -8.0167],312 ["では", -8.02031],313 ["僕", -8.02147],314 ["みんな", -8.02361],315 ["ちゃ", -8.03134],316 ["そんなに", -8.03428],317 ["と思う", -8.03462],318 ["えて", -8.03516],319 ["自", -8.03545],320 ["何か", -8.03903],321 ["ません", -8.03967],322 ["ほど", -8.04172],323 ["ですから", -8.04221],324 ["かた", -8.04482],325 ["じゃない", -8.05086],326 ["さい", -8.05224],327 ["食", -8.05264],328 ["たい", -8.05647],329 ["あんな", -8.05919],330 ["なお", -8.06851],331 ["学校", -8.06869],332 ["通り", -8.08619],333 ["少々", -8.08664],334 ["と見えて", -8.09007],335 ["今日は", -8.09593],336 ["と云って", -8.09689],337 ["ほ", -8.09949],338 ["なに", -8.10178],339 ["ましょう", -8.10456],340 ["水", -8.10483],341 ["なぜ", -8.11114],342 ["あら", -8.11126],343 ["だい", -8.11455],344 ["とは", -8.11465],345 ["これは", -8.11559],346 ["当", -8.1236],347 ["のである", -8.12653],348 ["ひと", -8.12717],349 ["聞く", -8.12728],350 ["一人", -8.13328],351 ["しゃ", -8.13488],352 ["勢", -8.13606],353 ["全く", -8.139],354 ["？ ", -8.14072],355 ["ではない", -8.14136],356 ["へえ", -8.14321],357 ["ス", -8.14499],358 ["がいい", -8.14511],359 ["しい", -8.14641],360 ["体", -8.15267],361 ["ました", -8.15874],362 ["れて", -8.16096],363 ["ます", -8.16296],364 ["かな", -8.16538],365 ["おい", -8.16757],366 ["かく", -8.16912],367 ["作", -8.17101],368 ["困る", -8.17127],369 ["せい", -8.1725],370 ["変", -8.17579],371 ["しきりに", -8.17766],372 ["とうとう", -8.1784],373 ["もない", -8.17975],374 ["たく", -8.18131],375 ["れる", -8.18211],376 ["張", -8.18233],377 ["人間", -8.1908],378 ["今度は", -8.19158],379 ["僕の", -8.19718],380 ["のさ", -8.19763],381 ["だな", -8.19797],382 ["それ", -8.19804],383 ["人が", -8.20192],384 ["返", -8.20289],385 ["覚", -8.20587],386 ["君の", -8.20592],387 ["つい", -8.20818],388 ["ように", -8.20885],389 ["山", -8.20906],390 ["客", -8.2156],391 ["教師", -8.21624],392 ["奥さん", -8.21664],393 ["もし", -8.21696],394 ["かつ", -8.22957],395 ["をもって", -8.23216],396 ["きん", -8.23351],397 ["あり", -8.23441],398 ["人の", -8.23528],399 ["むか", -8.23844],400 ["馬鹿", -8.2386],401 ["第一", -8.23933],402 ["ものか", -8.23953],403 ["十", -8.24219],404 ["そうだ", -8.24295],405 ["にして", -8.24448],406 ["と思って", -8.24469],407 ["独仙君", -8.24716],408 ["会", -8.24866],409 ["平", -8.25013],410 ["もっとも", -8.25466],411 ["町", -8.25563],412 ["真", -8.25576],413 ["まるで", -8.25637],414 ["なく", -8.25875],415 ["てい", -8.25878],416 ["すぐ", -8.25927],417 ["あまり", -8.26441],418 ["吾輩の", -8.26523],419 ["まず", -8.2694],420 ["になった", -8.26967],421 ["たら", -8.27585],422 ["白", -8.27714],423 ["じん", -8.27721],424 ["寒月", -8.27879],425 ["泥棒", -8.28157],426 ["大分", -8.28313],427 ["事がある", -8.28555],428 ["……", -8.28625],429 ["話", -8.28802],430 ["天", -8.29354],431 ["しない", -8.29477],432 ["同", -8.29484],433 ["とん", -8.29519],434 ["外", -8.29581],435 ["愚", -8.29785],436 ["2", -8.29787],437 ["いよいよ", -8.29794],438 ["りょう", -8.29973],439 ["ければ", -8.30023],440 ["主人が", -8.30126],441 ["ごう", -8.30278],442 ["一つ", -8.3087],443 ["どうです", -8.31028],444 ["んですか", -8.31345],445 ["もなく", -8.31505],446 ["流", -8.31516],447 ["ものだ", -8.31661],448 ["先", -8.31788],449 ["だが", -8.32042],450 ["苦沙弥", -8.32325],451 ["のない", -8.326],452 ["誰", -8.32726],453 ["通", -8.33097],454 ["ところ", -8.33135],455 ["合", -8.33281],456 ["吾輩", -8.33497],457 ["音", -8.33667],458 ["めて", -8.33793],459 ["怒", -8.33832],460 ["着", -8.33943],461 ["ー", -8.33993],462 ["学", -8.34021],463 ["知", -8.3416],464 ["僕も", -8.34844],465 ["なの", -8.34857],466 ["ですね", -8.35298],467 ["吾輩が", -8.35475],468 ["苦沙弥君", -8.35745],469 ["行く", -8.36009],470 ["決して", -8.3608],471 ["いつ", -8.36105],472 ["かない", -8.36776],473 ["入", -8.36781],474 ["早く", -8.36925],475 ["おや", -8.37299],476 ["のような", -8.3732],477 ["心配", -8.37614],478 ["しょ", -8.37782],479 ["ると", -8.37786],480 ["のだから", -8.37791],481 ["明", -8.37994],482 ["ぼ", -8.38121],483 ["っと", -8.38259],484 ["動", -8.38365],485 ["四", -8.38546],486 ["色", -8.38658],487 ["のかい", -8.38841],488 ["いえ", -8.39077],489 ["大変", -8.3914],490 ["けい", -8.39553],491 ["これから", -8.39634],492 ["かった", -8.39694],493 ["らしい", -8.39882],494 ["奴", -8.39925],495 ["げん", -8.41097],496 ["悪", -8.41153],497 ["べ", -8.42035],498 ["世の中", -8.42435],499 ["妙な", -8.42953],500 ["いかん", -8.43139],501 ["とうてい", -8.43213],502 ["内", -8.43223],503 ["探偵", -8.43262],504 ["らず", -8.43333],505 ["死ぬ", -8.43391],506 ["・", -8.4344],507 ["ゆう", -8.43548],508 ["来る", -8.4419],509 ["自分の", -8.44651],510 ["どうか", -8.44843],511 ["細君は", -8.44911],512 ["てん", -8.45166],513 ["なし", -8.45267],514 ["だと", -8.45288],515 ["男", -8.45614],516 ["云うと", -8.45781],517 ["国", -8.46597],518 ["せる", -8.46931],519 ["ものだから", -8.46976],520 ["道", -8.47493],521 ["だけは", -8.47609],522 ["ごと", -8.47652],523 ["の事", -8.4782],524 ["用", -8.47867],525 ["どうして", -8.48345],526 ["利", -8.4836],527 ["ン", -8.48385],528 ["3", -8.48434],529 ["腹", -8.48439],530 ["どうせ", -8.48761],531 ["きっと", -8.4881],532 ["のか", -8.49029],533 ["のごとく", -8.49497],534 ["と云った", -8.49624],535 ["をしている", -8.4966],536 ["書", -8.50079],537 ["取", -8.5015],538 ["しく", -8.50223],539 ["もある", -8.50292],540 ["なか", -8.50476],541 ["それが", -8.50643],542 ["もので", -8.50747],543 ["好", -8.50856],544 ["出来", -8.50964],545 ["高", -8.51343],546 ["のみ", -8.51602],547 ["立", -8.51609],548 ["重", -8.51686],549 ["える", -8.51772],550 ["らない", -8.52044],551 ["得", -8.52134],552 ["身", -8.52407],553 ["そうか", -8.52618],554 ["せんだって", -8.52627],555 ["それは", -8.52749],556 ["地", -8.53078],557 ["ようやく", -8.53124],558 ["だん", -8.53171],559 ["きょう", -8.5323],560 ["急に", -8.53418],561 ["意", -8.53529],562 ["文", -8.53588],563 ["論", -8.53602],564 ["性", -8.53624],565 ["八", -8.53625],566 ["語", -8.53625],567 ["ちゅう", -8.53681],568 ["火", -8.53689],569 ["数", -8.53692],570 ["1", -8.53694],571 ["字", -8.53698],572 ["椽側", -8.53699],573 ["随分", -8.537],574 ["軽", -8.53701],575 ["実に", -8.53722],576 ["障子", -8.53734],577 ["これで", -8.53736],578 ["逆上", -8.53747],579 ["さあ", -8.5387],580 ["おこ", -8.54372],581 ["大きな", -8.54442],582 ["寒月君は", -8.54704],583 ["の上に", -8.55478],584 ["なんて", -8.55897],585 ["第", -8.55912],586 ["的", -8.56505],587 ["古", -8.57191],588 ["髯", -8.57345],589 ["中に", -8.57424],590 ["山の芋", -8.57965],591 ["と主人が", -8.58064],592 ["がね", -8.58206],593 ["時々", -8.58355],594 ["屋", -8.5855],595 ["ヴァイオリン", -8.58783],596 ["難", -8.58814],597 ["迷亭は", -8.58901],598 ["相", -8.5891],599 ["法", -8.58926],600 ["仕", -8.59162],601 ["差", -8.59219],602 ["是非", -8.59242],603 ["寄", -8.59248],604 ["文字", -8.59262],605 ["書生", -8.59262],606 ["神", -8.59272],607 ["例のごとく", -8.5928],608 ["無暗", -8.59294],609 ["実は", -8.59302],610 ["話し", -8.59767],611 ["たま", -8.60178],612 ["おう", -8.60582],613 ["そうして", -8.61089],614 ["ふう", -8.61096],615 ["声", -8.61249],616 ["だった", -8.61285],617 ["いいえ", -8.61809],618 ["などは", -8.61855],619 ["と云うのは", -8.62425],620 ["表", -8.62547],621 ["出した", -8.62592],622 ["起", -8.62673],623 ["考", -8.6299],624 ["飛び", -8.63042],625 ["えらい", -8.63068],626 ["両", -8.63196],627 ["長", -8.63199],628 ["ああ", -8.63263],629 ["たち", -8.63271],630 ["は下", -8.63824],631 ["っても", -8.64357],632 ["人は", -8.64499],633 ["主", -8.64506],634 ["行って", -8.64507],635 ["振", -8.64626],636 ["自分", -8.6468],637 ["ても", -8.64785],638 ["我", -8.64787],639 ["これが", -8.64858],640 ["たた", -8.64879],641 ["懸", -8.6491],642 ["理", -8.64952],643 ["られた", -8.64983],644 ["代", -8.64996],645 ["多", -8.65017],646 ["木", -8.65085],647 ["命", -8.65107],648 ["門", -8.65117],649 ["（", -8.65132],650 ["煙草", -8.65164],651 ["いている", -8.65441],652 ["いち", -8.65513],653 ["めん", -8.65673],654 ["彼は", -8.65732],655 ["ぞ", -8.66065],656 ["らるる", -8.66128],657 ["彼の", -8.6638],658 ["時に", -8.66569],659 ["誰も", -8.66929],660 ["へん", -8.66949],661 ["なん", -8.67101],662 ["主人も", -8.6715],663 ["長い", -8.67356],664 ["人間は", -8.67379],665 ["それでも", -8.6749],666 ["ります", -8.67682],667 ["りません", -8.68107],668 ["める", -8.68168],669 ["頭を", -8.68202],670 ["うま", -8.68495],671 ["様", -8.68774],672 ["付き", -8.69065],673 ["出来る", -8.69187],674 ["感", -8.69303],675 ["聞き", -8.69393],676 ["裏", -8.69498],677 ["出す", -8.69775],678 ["細君", -8.69787],679 ["仕方がない", -8.70384],680 ["今度", -8.70455],681 ["際", -8.70583],682 ["死", -8.70635],683 ["半", -8.70807],684 ["くつ", -8.70822],685 ["名前", -8.70848],686 ["があって", -8.70854],687 ["嫌", -8.71062],688 ["ところへ", -8.71196],689 ["突", -8.71236],690 ["楽", -8.71248],691 ["感じ", -8.71249],692 ["ゆ", -8.71259],693 ["等", -8.71265],694 ["恋", -8.7135],695 ["石", -8.71373],696 ["原", -8.71376],697 ["鼠", -8.71379],698 ["奇", -8.7138],699 ["冗談", -8.71383],700 ["未", -8.71386],701 ["背", -8.71396],702 ["滅多", -8.71409],703 ["多々良君", -8.71447],704 ["自然", -8.71464],705 ["布団", -8.71473],706 ["様子", -8.7153],707 ["一番", -8.71557],708 ["それだから", -8.716],709 ["んにち", -8.72087],710 ["何が", -8.72385],711 ["隠", -8.72563],712 ["うちに", -8.72685],713 ["僕が", -8.72812],714 ["なさい", -8.72854],715 ["くら", -8.72972],716 ["例の", -8.72992],717 ["あれ", -8.73235],718 ["であるから", -8.7324],719 ["見る", -8.73242],720 ["ぞう", -8.73268],721 ["れない", -8.73862],722 ["鼻の", -8.74341],723 ["ぼう", -8.74378],724 ["りました", -8.74816],725 ["出来ない", -8.75574],726 ["そうです", -8.75819],727 ["むやみ", -8.76567],728 ["たん", -8.76608],729 ["坐", -8.7684],730 ["ため", -8.7689],731 ["よっぽど", -8.76917],732 ["考え", -8.76947],733 ["妻", -8.76958],734 ["近", -8.76968],735 ["おく", -8.76999],736 ["んだね", -8.77061],737 ["ついに", -8.77081],738 ["使", -8.77244],739 ["立て", -8.77246],740 ["先生は", -8.77764],741 ["生徒", -8.77772],742 ["戸", -8.77802],743 ["出して", -8.77841],744 ["盗", -8.77855],745 ["共", -8.77874],746 ["元", -8.77896],747 ["発", -8.77913],748 ["じゅ", -8.77918],749 ["呑", -8.77979],750 ["坊", -8.7798],751 ["殺", -8.78019],752 ["結婚", -8.78039],753 ["いっしょに", -8.78039],754 ["研究", -8.78042],755 ["傍", -8.78043],756 ["水準", -8.7805],757 ["宜", -8.78051],758 ["※［＃「", -8.78053],759 ["やっぱり", -8.78057],760 ["相変らず", -8.78074],761 ["そこ", -8.78075],762 ["に相違ない", -8.78098],763 ["元来", -8.78109],764 ["ちょうど", -8.78148],765 ["ひげ", -8.78201],766 ["ようだ", -8.78239],767 ["本当に", -8.7833],768 ["そば", -8.78392],769 ["出る", -8.78444],770 ["知らん", -8.78545],771 ["横", -8.78639],772 ["の間", -8.79016],773 ["せき", -8.79088],774 ["やる", -8.79231],775 ["のだが", -8.79279],776 ["まえ", -8.79361],777 ["を出して", -8.79388],778 ["なあに", -8.79524],779 ["こん", -8.79538],780 ["私は", -8.79558],781 ["当人", -8.79706],782 ["ようだが", -8.79787],783 ["なかった", -8.79886],784 ["眼を", -8.79929],785 ["ここ", -8.7998],786 ["と細君は", -8.80076],787 ["と思った", -8.80224],788 ["のです", -8.80416],789 ["聞いた", -8.80496],790 ["眠", -8.80578],791 ["すい", -8.80599],792 ["なあ", -8.808],793 ["りゃ", -8.80845],794 ["）", -8.81131],795 ["そうで", -8.82133],796 ["迷亭君", -8.82608],797 ["座敷", -8.82691],798 ["と云うと", -8.82691],799 ["事に", -8.82804],800 ["くなった", -8.83027],801 ["赤", -8.83171],802 ["どんな", -8.83362],803 ["迷亭先生", -8.83548],804 ["有", -8.83606],805 ["実業家", -8.83837],806 ["独", -8.83958],807 ["はん", -8.84104],808 ["たり", -8.844],809 ["鈴木", -8.84431],810 ["ちと", -8.84433],811 ["方が", -8.84457],812 ["妙", -8.84538],813 ["癖", -8.84556],814 ["買", -8.84639],815 ["はず", -8.84666],816 ["いろいろ", -8.8467],817 ["ぴ", -8.84728],818 ["事件", -8.84763],819 ["引き", -8.84851],820 ["しばらく", -8.84901],821 ["病", -8.84984],822 ["苦", -8.85],823 ["部", -8.85035],824 ["説", -8.85067],825 ["驚ろいた", -8.85081],826 ["正", -8.85129],827 ["容", -8.8516],828 ["成", -8.85163],829 ["次", -8.85166],830 ["易", -8.85176],831 ["光", -8.85182],832 ["業", -8.85189],833 ["千", -8.8519],834 ["なくっちゃ", -8.85194],835 ["転", -8.85194],836 ["すこぶる", -8.85194],837 ["たまえ", -8.85195],838 ["舌", -8.85198],839 ["別段", -8.85211],840 ["実際", -8.85219],841 ["娘", -8.85223],842 ["いつの間", -8.85263],843 ["始めて", -8.85285],844 ["すでに", -8.85338],845 ["苦沙弥先生", -8.85491],846 ["と東風君は", -8.8556],847 ["向う", -8.85581],848 ["だぜ", -8.85684],849 ["一向", -8.85762],850 ["すれば", -8.85765],851 ["その後", -8.85802],852 ["と迷亭君が", -8.85945],853 ["もん", -8.86011],854 ["どうしても", -8.86012],855 ["とにかく", -8.86187],856 ["帰る", -8.86607],857 ["いっこう", -8.86692],858 ["を出す", -8.86701],859 ["からね", -8.86712],860 ["りと", -8.86764],861 ["開", -8.86847],862 ["けれども", -8.871],863 ["の御", -8.87159],864 ["つき", -8.87394],865 ["ごとく", -8.87521],866 ["君が", -8.87761],867 ["の方へ", -8.87934],868 ["ものが", -8.88018],869 ["人に", -8.88079],870 ["悪い", -8.88193],871 ["あい", -8.88281],872 ["好い", -8.88528],873 ["手を", -8.88558],874 ["読", -8.88568],875 ["人間の", -8.88759],876 ["しか", -8.88912],877 ["したら", -8.89345],878 ["いると", -8.89726],879 ["しました", -8.89802],880 ["敵", -8.90973],881 ["黒", -8.912],882 ["えんが", -8.91472],883 ["やま", -8.91511],884 ["顔を", -8.91545],885 ["、——", -8.91569],886 ["首", -8.91639],887 ["念", -8.917],888 ["彼等", -8.91743],889 ["かか", -8.91748],890 ["のまま", -8.91796],891 ["込んで", -8.92446],892 ["しまった", -8.92516],893 ["ですが", -8.9256],894 ["待", -8.92691],895 ["形", -8.9276],896 ["ぶつ", -8.92819],897 ["箸", -8.92822],898 ["反", -8.9286],899 ["参", -8.92861],900 ["新", -8.92862],901 ["車", -8.92863],902 ["在", -8.92866],903 ["夫婦", -8.92867],904 ["百", -8.92867],905 ["直", -8.92867],906 ["右", -8.92869],907 ["襖", -8.92877],908 ["此", -8.92883],909 ["記憶", -8.92886],910 ["ル", -8.92893],911 ["あんまり", -8.92896],912 ["掻", -8.92898],913 ["頑固", -8.92906],914 ["伯父さん", -8.92908],915 ["居", -8.92911],916 ["新体詩", -8.92916],917 ["立ち", -8.92918],918 ["自殺", -8.92934],919 ["ふすま", -8.92941],920 ["見出", -8.931],921 ["こと", -8.93132],922 ["負け", -8.9339],923 ["以上は", -8.93475],924 ["その時", -8.9356],925 ["へ這入", -8.93609],926 ["私の", -8.9364],927 ["きた", -8.9371],928 ["みず", -8.93873],929 ["御三", -8.93887],930 ["ばこ", -8.93932],931 ["妻君は", -8.93967],932 ["男だ", -8.9424],933 ["なんだ", -8.94289],934 ["において", -8.94359],935 ["取り", -8.94412],936 ["ことに", -8.94544],937 ["めた", -8.94561],938 ["君も", -8.94665],939 ["五", -8.94722],940 ["でない", -8.94785],941 ["これを", -8.94812],942 ["致", -8.95154],943 ["よりも", -8.95268],944 ["切", -8.95552],945 ["をやる", -8.95557],946 ["、「", -8.95784],947 ["の中", -8.95876],948 ["笑", -8.96199],949 ["哲学者", -8.96236],950 ["ところを", -8.96532],951 ["刑事", -8.96747],952 ["思い", -8.96806],953 ["けた", -8.97508],954 ["云った", -8.97554],955 ["るのが", -8.97656],956 ["であろう", -8.97848],957 ["るの", -8.97937],958 ["ったら", -8.98026],959 ["行った", -8.98101],960 ["んでしょう", -8.98245],961 ["たくなる", -8.98259],962 ["された", -8.98328],963 ["雪江さん", -8.98343],964 ["云", -8.9852],965 ["ばん", -8.98663],966 ["まい", -8.9882],967 ["について", -8.98924],968 ["例", -8.98956],969 ["は中", -8.99059],970 ["えている", -8.99274],971 ["笑いながら", -8.99316],972 ["まっ", -8.996],973 ["放", -8.99658],974 ["んですから", -8.9969],975 ["答える", -8.99835],976 ["何の", -8.99953],977 ["であった", -8.99959],978 ["鈴木君は", -9.00012],979 ["と云いながら", -9.00042],980 ["叔父さん", -9.0011],981 ["近頃", -9.00131],982 ["独仙", -9.00208],983 ["今まで", -9.00349],984 ["世", -9.00359],985 ["よし", -9.00384],986 ["御前", -9.00493],987 ["思う", -9.00546],988 ["さっき", -9.00723],989 ["諸君", -9.00762],990 ["とか云う", -9.00831],991 ["禿", -9.00903],992 ["問", -9.01031],993 ["問題", -9.01096],994 ["了", -9.01106],995 ["に対して", -9.01124],996 ["持", -9.01146],997 ["妻君", -9.01155],998 ["休", -9.01176],999 ["聴", -9.01181],1000 ["己", -9.01183],1001 ["茶", -9.01189],1002 ["解", -9.01206],1003 ["曲", -9.01213],1004 ["回", -9.0122],1005 ["突然", -9.01226],1006 ["トチメンボー", -9.01227],1007 ["みょう", -9.01229],1008 ["支", -9.01233],1009 ["ちゃんと", -9.01236],1010 ["胃弱", -9.01245],1011 ["想", -9.01249],1012 ["わざわざ", -9.01257],1013 ["持って", -9.0128],1014 ["間違", -9.01309],1015 ["まさか", -9.01349],1016 ["病気", -9.01403],1017 ["時分", -9.01449],1018 ["つら", -9.01503],1019 ["一体", -9.01571],1020 ["もう少し", -9.01693],1021 ["えり", -9.01874],1022 ["食い", -9.02079],1023 ["つもり", -9.02201],1024 ["談話", -9.02236],1025 ["らして", -9.02387],1026 ["するのは", -9.02392],1027 ["茶碗", -9.02426],1028 ["れた", -9.02446],1029 ["のだ", -9.02964],1030 ["すま", -9.02991],1031 ["いっ", -9.03143],1032 ["これも", -9.03224],1033 ["ろく", -9.03256],1034 ["しても", -9.03718],1035 ["を持って", -9.0379],1036 ["いかに", -9.03885],1037 ["誰が", -9.03892],1038 ["。……", -9.04013],1039 ["ったって", -9.04018],1040 ["なくては", -9.04111],1041 ["かご", -9.04126],1042 ["ふる", -9.04237],1043 ["駄目", -9.04382],1044 ["聞", -9.04385],1045 ["だろうが", -9.0442],1046 ["か知らん", -9.04507],1047 ["少しは", -9.04648],1048 ["ぶん", -9.04899],1049 ["こっち", -9.05051],1050 ["迷亭の", -9.05067],1051 ["されて", -9.0509],1052 ["吹", -9.05298],1053 ["そんな事", -9.0532],1054 ["事はない", -9.05399],1055 ["かけ", -9.05552],1056 ["日は", -9.05781],1057 ["釣", -9.05801],1058 ["づ", -9.05837],1059 ["申", -9.05873],1060 ["さんが", -9.05981],1061 ["前に", -9.06091],1062 ["は大分", -9.06146],1063 ["えた", -9.06685],1064 ["まん", -9.07397],1065 ["鈴木君", -9.08767],1066 ["天下", -9.08873],1067 ["引", -9.08994],1068 ["云って", -9.09002],1069 ["書斎", -9.09086],1070 ["してしまった", -9.09204],1071 ["何も", -9.09215],1072 ["他", -9.09315],1073 ["考える", -9.09368],1074 ["苦しい", -9.09423],1075 ["へ行って", -9.09654],1076 ["博士", -9.09686],1077 ["無論", -9.09762],1078 ["世間", -9.09769],1079 ["計", -9.09836],1080 ["知らない", -9.09884],1081 ["込", -9.10039],1082 ["東京", -9.10071],1083 ["句", -9.1013],1084 ["座", -9.10138],1085 ["無理", -9.1018],1086 ["勝", -9.10182],1087 ["愛", -9.10186],1088 ["庭", -9.10208],1089 ["酒", -9.10211],1090 ["味", -9.10214],1091 ["狂", -9.10218],1092 ["損", -9.10243],1093 ["機", -9.10258],1094 ["暗", -9.10258],1095 ["芸術", -9.10274],1096 ["寒", -9.10274],1097 ["だんだん", -9.10276],1098 ["球", -9.10283],1099 ["痛", -9.10291],1100 ["住", -9.10294],1101 ["迷惑", -9.10294],1102 ["必要", -9.10295],1103 ["片", -9.10296],1104 ["御客さん", -9.10306],1105 ["活", -9.10306],1106 ["草", -9.10308],1107 ["羨", -9.10311],1108 ["割", -9.10314],1109 ["保険", -9.10322],1110 ["８", -9.10322],1111 ["勉強", -9.10326],1112 ["其", -9.10327],1113 ["皆", -9.10327],1114 ["我慢", -9.10332],1115 ["いけない", -9.10333],1116 ["仏", -9.10334],1117 ["昨日", -9.10337],1118 ["たちまち", -9.10343],1119 ["分らん", -9.10349],1120 ["のんき", -9.1036],1121 ["呑気", -9.10438],1122 ["こないだ", -9.10462],1123 ["それを", -9.1048],1124 ["じゅう", -9.10522],1125 ["いつでも", -9.10526],1126 ["知ってるか", -9.10584],1127 ["ようなもの", -9.10586],1128 ["この間", -9.10598],1129 ["きのう", -9.10636],1130 ["遠", -9.10648],1131 ["と云えば", -9.10691],1132 ["んですもの", -9.107],1133 ["こう云う", -9.10743],1134 ["どれ", -9.10763],1135 ["持って来た", -9.10789],1136 ["分り", -9.10902],1137 ["本人", -9.10986],1138 ["なさ", -9.11103],1139 ["しかも", -9.11119],1140 ["下女は", -9.11144],1141 ["近頃は", -9.1152],1142 ["があった", -9.11807],1143 ["おか", -9.11853],1144 ["あれは", -9.1193],1145 ["なくっても", -9.11954],1146 ["たって", -9.12081],1147 ["金田君", -9.12106],1148 ["春", -9.12179],1149 ["の大", -9.12257],1150 ["いん", -9.12358],1151 ["けて", -9.12431],1152 ["伺", -9.12534],1153 ["駄目だ", -9.12589],1154 ["聞いて", -9.12598],1155 ["さま", -9.1271],1156 ["きま", -9.13069],1157 ["ところで", -9.13165],1158 ["そら", -9.13208],1159 ["そうな", -9.13598],1160 ["つぶ", -9.13751],1161 ["三人", -9.14408],1162 ["じて", -9.14519],1163 ["くらいだ", -9.14564],1164 ["だろうと", -9.14589],1165 ["へ出て", -9.14702],1166 ["を聞いて", -9.14942],1167 ["聞か", -9.15012],1168 ["と云", -9.15268],1169 ["います", -9.15423],1170 ["しろ", -9.15474],1171 ["いたの", -9.15592],1172 ["めい", -9.15711],1173 ["それに", -9.15737],1174 ["あって", -9.15811],1175 ["はら", -9.15861],1176 ["男である", -9.15963],1177 ["六", -9.16102],1178 ["へい", -9.16223],1179 ["暮", -9.16279],1180 ["下さい", -9.16357],1181 ["てしまった", -9.16422],1182 ["の体", -9.1651],1183 ["のも", -9.16523],1184 ["ったり", -9.16554],1185 ["らく", -9.16567],1186 ["のだろう", -9.1667],1187 ["鳴", -9.16755],1188 ["ますから", -9.16927],1189 ["を開", -9.16997],1190 ["うし", -9.16999],1191 ["独仙君は", -9.17002],1192 ["ために", -9.17181],1193 ["事で", -9.1741],1194 ["まち", -9.17465],1195 ["ふと", -9.17518],1196 ["のある", -9.17646],1197 ["いま", -9.18139],1198 ["強", -9.18233],1199 ["きら", -9.18433],1200 ["つく", -9.18513],