CoolFace
Modelpublic

CodeDevX/Vibe-Coding-Instruct

sourceHugging Faceapache-2.0updated 3mo agoView on Hugging Face
9likes284downloads
tokenizer_config.json115 linesDownload Raw Back to root
1{
2  "backend": "tokenizers",
3  "bos_token": "<s>",
4  "eos_token": "</s>",
5  "extra_ids": 100,
6  "extra_special_tokens": [
7    "<extra_id_0>",
8    "<extra_id_1>",
9    "<extra_id_2>",
10    "<extra_id_3>",
11    "<extra_id_4>",
12    "<extra_id_5>",
13    "<extra_id_6>",
14    "<extra_id_7>",
15    "<extra_id_8>",
16    "<extra_id_9>",
17    "<extra_id_10>",
18    "<extra_id_11>",
19    "<extra_id_12>",
20    "<extra_id_13>",
21    "<extra_id_14>",
22    "<extra_id_15>",
23    "<extra_id_16>",
24    "<extra_id_17>",
25    "<extra_id_18>",
26    "<extra_id_19>",
27    "<extra_id_20>",
28    "<extra_id_21>",
29    "<extra_id_22>",
30    "<extra_id_23>",
31    "<extra_id_24>",
32    "<extra_id_25>",
33    "<extra_id_26>",
34    "<extra_id_27>",
35    "<extra_id_28>",
36    "<extra_id_29>",
37    "<extra_id_30>",
38    "<extra_id_31>",
39    "<extra_id_32>",
40    "<extra_id_33>",
41    "<extra_id_34>",
42    "<extra_id_35>",
43    "<extra_id_36>",
44    "<extra_id_37>",
45    "<extra_id_38>",
46    "<extra_id_39>",
47    "<extra_id_40>",
48    "<extra_id_41>",
49    "<extra_id_42>",
50    "<extra_id_43>",
51    "<extra_id_44>",
52    "<extra_id_45>",
53    "<extra_id_46>",
54    "<extra_id_47>",
55    "<extra_id_48>",
56    "<extra_id_49>",
57    "<extra_id_50>",
58    "<extra_id_51>",
59    "<extra_id_52>",
60    "<extra_id_53>",
61    "<extra_id_54>",
62    "<extra_id_55>",
63    "<extra_id_56>",
64    "<extra_id_57>",
65    "<extra_id_58>",
66    "<extra_id_59>",
67    "<extra_id_60>",
68    "<extra_id_61>",
69    "<extra_id_62>",
70    "<extra_id_63>",
71    "<extra_id_64>",
72    "<extra_id_65>",
73    "<extra_id_66>",
74    "<extra_id_67>",
75    "<extra_id_68>",
76    "<extra_id_69>",
77    "<extra_id_70>",
78    "<extra_id_71>",
79    "<extra_id_72>",
80    "<extra_id_73>",
81    "<extra_id_74>",
82    "<extra_id_75>",
83    "<extra_id_76>",
84    "<extra_id_77>",
85    "<extra_id_78>",
86    "<extra_id_79>",
87    "<extra_id_80>",
88    "<extra_id_81>",
89    "<extra_id_82>",
90    "<extra_id_83>",
91    "<extra_id_84>",
92    "<extra_id_85>",
93    "<extra_id_86>",
94    "<extra_id_87>",
95    "<extra_id_88>",
96    "<extra_id_89>",
97    "<extra_id_90>",
98    "<extra_id_91>",
99    "<extra_id_92>",
100    "<extra_id_93>",
101    "<extra_id_94>",
102    "<extra_id_95>",
103    "<extra_id_96>",
104    "<extra_id_97>",
105    "<extra_id_98>",
106    "<extra_id_99>"
107  ],
108  "is_local": true,
109  "local_files_only": false,
110  "model_max_length": 1000000000000000019884624838656,
111  "pad_token": "<pad>",
112  "tokenizer_class": "T5Tokenizer",
113  "unk_token": "<unk>"
114}
115