AwAppp/benchmarks_4bit_batch_size45
0
1{2 "prefill": {3 "memory": {4 "unit": "MB",5 "max_ram": 3494.793216,6 "max_vram": 6029.312,7 "max_reserved": 5544.869888,8 "max_allocated": 5402.058249 },10 "latency": {11 "unit": "s",12 "mean": 0.3201763744354248,13 "stdev": 0.0009697763372516204,14 "values": [15 0.3255560607910156,16 0.32034609985351564,17 0.31998052978515623,18 0.32002969360351563,19 0.319931396484375,20 0.3200337829589844,21 0.31998052978515623,22 0.31996417236328123,23 0.3199129638671875,24 0.31991192626953124,25 0.32001638793945314,26 0.3199836120605469,27 0.32001739501953125,28 0.31995391845703125,29 0.3199856567382813,30 0.31999591064453126,31 0.319857666015625,32 0.320005126953125,33 0.3201034240722656,34 0.32001739501953125,35 0.3199559631347656,36 0.3200604248046875,37 0.32007986450195314,38 0.32001739501953125,39 0.3200419921875,40 0.3199754333496094,41 0.32003073120117187,42 0.3198873596191406,43 0.3200091857910156,44 0.3200081481933594,45 0.32007986450195314,46 0.3199139709472656547 ]48 },49 "throughput": {50 "unit": "tokens/s",51 "value": 2248.760550398493752 },53 "energy": null,54 "efficiency": null55 },56 "decode": {57 "memory": {58 "unit": "MB",59 "max_ram": 3494.793216,60 "max_vram": 7511.998464,61 "max_reserved": 7027.556352,62 "max_allocated": 6811.66694463 },64 "latency": {65 "unit": "s",66 "mean": 15.420443618774414,67 "stdev": 0,68 "values": [69 15.42044361877441470 ]71 },72 "throughput": {73 "unit": "tokens/s",74 "value": 288.9021943944615675 },76 "energy": null,77 "efficiency": null78 },79 "per_token": {80 "memory": null,81 "latency": {82 "unit": "s",83 "mean": 0.1557620567552971,84 "stdev": 0.003946284964659726,85 "values": [86 0.14904631042480468,87 0.14914352416992188,88 0.14919577026367187,89 0.14954393005371094,90 0.14946202087402344,91 0.14966680908203125,92 0.1497876434326172,93 0.15007539367675782,94 0.15004876708984374,95 0.15028839111328124,96 0.15029862976074218,97 0.1507368927001953,98 0.150614013671875,99 0.15076658630371093,100 0.15071334838867187,101 0.15137893676757813,102 0.15104103088378906,103 0.15133491516113282,104 0.15136665344238281,105 0.15196876525878905,106 0.15157862854003906,107 0.15214591979980469,108 0.1517322235107422,109 0.15250125122070313,110 0.15216844177246094,111 0.1525913543701172,112 0.15239474487304688,113 0.15318118286132812,114 0.1527019500732422,115 0.15311564636230468,116 0.15294566345214844,117 0.1536522216796875,118 0.1532508087158203,119 0.153891845703125,120 0.15347097778320312,121 0.15422361755371095,122 0.15370445251464843,123 0.1540894775390625,124 0.15398809814453124,125 0.15469056701660155,126 0.1542635498046875,127 0.15466188049316407,128 0.1545963592529297,129 0.15538482666015624,130 0.1548871612548828,131 0.15524354553222655,132 0.15513186645507812,133 0.15583334350585937,134 0.15544216918945314,135 0.15583027648925782,136 0.15565927124023438,137 0.15656755065917968,138 0.1559746551513672,139 0.15632691955566405,140 0.15616921997070313,141 0.1570529327392578,142 0.15650816345214844,143 0.15684402465820313,144 0.15670477294921875,145 0.15763763427734376,146 0.15698841857910156,147 0.15741439819335937,148 0.1571768341064453,149 0.1581230010986328,150 0.1574481964111328,151 0.158055419921875,152 0.15774412536621094,153 0.15876710510253905,154 0.15799090576171876,155 0.15849267578125,156 0.15835443115234374,157 0.15930776977539063,158 0.15858073425292968,159 0.15907225036621095,160 0.1588940734863281,161 0.15995904541015624,162 0.15911424255371093,163 0.15965798950195312,164 0.15930982971191407,165 0.160500732421875,166 0.15971328735351562,167 0.16013311767578126,168 0.16002149963378906,169 0.16116018676757812,170 0.16029592895507813,171 0.16075059509277342,172 0.16051303100585937,173 0.16163737487792967,174 0.16082432556152343,175 0.16137522888183595,176 0.16113357543945311,177 0.16221696472167968,178 0.1612349395751953,179 0.16177049255371093,180 0.16158924865722657,181 0.16294706726074218,182 0.16203570556640626,183 0.16257023620605468,184 0.16235110473632813185 ]186 },187 "throughput": {188 "unit": "tokens/s",189 "value": 288.90219439446156190 },191 "energy": null,192 "efficiency": null193 }194}