AwAppp/benchmarks_4bit_batch_size10
0
1{2 "prefill": {3 "memory": {4 "unit": "MB",5 "max_ram": 3482.791936,6 "max_vram": 5991.563264,7 "max_reserved": 5507.121152,8 "max_allocated": 5293.8869769 },10 "latency": {11 "unit": "s",12 "mean": 0.16423192008596946,13 "stdev": 0.00019889040182647096,14 "values": [15 0.16545770263671875,16 0.16465306091308593,17 0.16468992614746095,18 0.1641175079345703,19 0.16409703063964845,20 0.16402227783203124,21 0.16426803588867187,22 0.16409088134765626,23 0.16417587280273438,24 0.16401817321777343,25 0.16415744018554687,26 0.1639772186279297,27 0.16430899047851563,28 0.1642670135498047,29 0.16420556640625,30 0.164173828125,31 0.16428749084472657,32 0.16417485046386718,33 0.16405810546875,34 0.16431922912597657,35 0.1642854461669922,36 0.1642117156982422,37 0.16413594055175781,38 0.16416050720214845,39 0.16413900756835936,40 0.1642239990234375,41 0.1640396728515625,42 0.1641502685546875,43 0.16422808837890626,44 0.16410726928710936,45 0.16409599304199218,46 0.1642045440673828,47 0.1640273895263672,48 0.1641318359375,49 0.16424960327148438,50 0.16427008056640624,51 0.1641994171142578,52 0.16424858093261718,53 0.1642854461669922,54 0.16418406677246095,55 0.1642434539794922,56 0.1641932830810547,57 0.16427008056640624,58 0.16417689514160155,59 0.16429977416992186,60 0.1642608642578125,61 0.16433766174316405,62 0.164168701171875,63 0.16428749084472657,64 0.16426495361328125,65 0.16429466247558594,66 0.16426188659667967,67 0.16419635009765626,68 0.16415437316894532,69 0.16411648559570313,70 0.1641430969238281,71 0.1642229766845703,72 0.1643550720214844,73 0.16430899047851563,74 0.16421682739257812,75 0.16427416992187576 ]77 },78 "throughput": {79 "unit": "tokens/s",80 "value": 974.232048899177581 },82 "energy": null,83 "efficiency": null84 },85 "decode": {86 "memory": {87 "unit": "MB",88 "max_ram": 3486.969856,89 "max_vram": 6394.216448,90 "max_reserved": 5909.774336,91 "max_allocated": 5607.82438492 },93 "latency": {94 "unit": "s",95 "mean": 13.628475357055665,96 "stdev": 0,97 "values": [98 13.62847535705566599 ]100 },101 "throughput": {102 "unit": "tokens/s",103 "value": 72.64202150737736104 },105 "energy": null,106 "efficiency": null107 },108 "per_token": {109 "memory": null,110 "latency": {111 "unit": "s",112 "mean": 0.13766136724298653,113 "stdev": 0.0010905201659738928,114 "values": [115 0.1359298553466797,116 0.13591552734375,117 0.13594009399414062,118 0.1359667205810547,119 0.13600460815429688,120 0.13601895141601564,121 0.13605580139160156,122 0.13604658508300782,123 0.13616741943359376,124 0.13620632934570312,125 0.13625753784179687,126 0.13625447082519532,127 0.136195068359375,128 0.13614387512207032,129 0.13626264953613282,130 0.13613772583007813,131 0.13635993957519532,132 0.13644082641601563,133 0.1364346923828125,134 0.13646847534179687,135 0.13652479553222657,136 0.13652070617675782,137 0.13655039978027345,138 0.13660263061523437,139 0.13669888305664063,140 0.1367736358642578,141 0.13674803161621094,142 0.13675418090820313,143 0.13672857666015625,144 0.13689036560058593,145 0.13687397766113282,146 0.13697433471679688,147 0.1370214385986328,148 0.13715968322753908,149 0.13709925842285156,150 0.13714533996582032,151 0.1371463623046875,152 0.13719244384765625,153 0.13717607116699218,154 0.13731327819824218,155 0.1372692413330078,156 0.13724057006835938,157 0.13735423278808595,158 0.13743923950195314,159 0.1373849639892578,160 0.13742898559570313,161 0.13749760437011718,162 0.13763481140136719,163 0.13762355041503907,164 0.13764198303222655,165 0.13764198303222655,166 0.13776690673828124,167 0.13771366882324218,168 0.1378979797363281,169 0.13785189819335938,170 0.1379737548828125,171 0.137923583984375,172 0.13800653076171876,173 0.13797171020507812,174 0.1381898193359375,175 0.13807923889160156,176 0.13827072143554686,177 0.13827687072753905,178 0.1384796142578125,179 0.13831065368652343,180 0.13842124938964845,181 0.13827378845214844,182 0.13860453796386718,183 0.13834854125976562,184 0.138503173828125,185 0.1383936004638672,186 0.13875404357910157,187 0.13848165893554687,188 0.13869363403320312,189 0.13860659790039062,190 0.1388748779296875,191 0.13853286743164062,192 0.13878886413574218,193 0.13861477661132812,194 0.13890354919433595,195 0.13877760314941406,196 0.13896397399902344,197 0.13888716125488282,198 0.13914215087890625,199 0.13898136901855468,200 0.13904998779296876,201 0.13895167541503906,202 0.139293701171875,203 0.13901107788085937,204 0.1390970916748047,205 0.1390909423828125,206 0.13933363342285157,207 0.1391513671875,208 0.13932237243652343,209 0.13918821716308594,210 0.13949542236328125,211 0.13923225402832032,212 0.1394923553466797,213 0.13924557495117187214 ]215 },216 "throughput": {217 "unit": "tokens/s",218 "value": 72.64202150737735219 },220 "energy": null,221 "efficiency": null222 }223}