balastml/COPAL

1{
2  "backend": "tokenizers",
3  "eos_token": "</s>",
4  "extra_ids": 100,
5  "extra_special_tokens": [
6    "<extra_id_0>",
7    "<extra_id_1>",
8    "<extra_id_2>",
9    "<extra_id_3>",
10    "<extra_id_4>",
11    "<extra_id_5>",
12    "<extra_id_6>",
13    "<extra_id_7>",
14    "<extra_id_8>",
15    "<extra_id_9>",
16    "<extra_id_10>",
17    "<extra_id_11>",
18    "<extra_id_12>",
19    "<extra_id_13>",
20    "<extra_id_14>",
21    "<extra_id_15>",
22    "<extra_id_16>",
23    "<extra_id_17>",
24    "<extra_id_18>",
25    "<extra_id_19>",
26    "<extra_id_20>",
27    "<extra_id_21>",
28    "<extra_id_22>",
29    "<extra_id_23>",
30    "<extra_id_24>",
31    "<extra_id_25>",
32    "<extra_id_26>",
33    "<extra_id_27>",
34    "<extra_id_28>",
35    "<extra_id_29>",
36    "<extra_id_30>",
37    "<extra_id_31>",
38    "<extra_id_32>",
39    "<extra_id_33>",
40    "<extra_id_34>",
41    "<extra_id_35>",
42    "<extra_id_36>",
43    "<extra_id_37>",
44    "<extra_id_38>",
45    "<extra_id_39>",
46    "<extra_id_40>",
47    "<extra_id_41>",
48    "<extra_id_42>",
49    "<extra_id_43>",
50    "<extra_id_44>",
51    "<extra_id_45>",
52    "<extra_id_46>",
53    "<extra_id_47>",
54    "<extra_id_48>",
55    "<extra_id_49>",
56    "<extra_id_50>",
57    "<extra_id_51>",
58    "<extra_id_52>",
59    "<extra_id_53>",
60    "<extra_id_54>",
61    "<extra_id_55>",
62    "<extra_id_56>",
63    "<extra_id_57>",
64    "<extra_id_58>",
65    "<extra_id_59>",
66    "<extra_id_60>",
67    "<extra_id_61>",
68    "<extra_id_62>",
69    "<extra_id_63>",
70    "<extra_id_64>",
71    "<extra_id_65>",
72    "<extra_id_66>",
73    "<extra_id_67>",
74    "<extra_id_68>",
75    "<extra_id_69>",
76    "<extra_id_70>",
77    "<extra_id_71>",
78    "<extra_id_72>",
79    "<extra_id_73>",
80    "<extra_id_74>",
81    "<extra_id_75>",
82    "<extra_id_76>",
83    "<extra_id_77>",
84    "<extra_id_78>",
85    "<extra_id_79>",
86    "<extra_id_80>",
87    "<extra_id_81>",
88    "<extra_id_82>",
89    "<extra_id_83>",
90    "<extra_id_84>",
91    "<extra_id_85>",
92    "<extra_id_86>",
93    "<extra_id_87>",
94    "<extra_id_88>",
95    "<extra_id_89>",
96    "<extra_id_90>",
97    "<extra_id_91>",
98    "<extra_id_92>",
99    "<extra_id_93>",
100    "<extra_id_94>",
101    "<extra_id_95>",
102    "<extra_id_96>",
103    "<extra_id_97>",
104    "<extra_id_98>",
105    "<extra_id_99>"
106  ],
107  "is_local": true,
108  "local_files_only": false,
109  "max_length": 8,
110  "model_max_length": 96,
111  "pad_token": "<pad>",
112  "stride": 0,
113  "tokenizer_class": "T5Tokenizer",
114  "truncation_side": "right",
115  "truncation_strategy": "longest_first",
116  "unk_token": "<unk>"
117}
118