joshycodes/qwen3-14b-commitments-sdf

1{2 "base": "Qwen/Qwen3-14B",3 "method": "fsdp2-custom-loop",4 "n_rows": 39729,5 "n_self": 0,6 "n_sequences": 20171,7 "n_tokens": 32094200,8 "world": 4,9 "micro_batch": 4,10 "accum": 4,11 "steps": 315,12 "lr": 1e-05,13 "optim": "AdamW fused, fp32 master, bf16 compute, fp32 grad reduce",14 "loss_curve": [15  2.3082733154296875,16  1.9415383338928223,17  1.7052346467971802,18  1.621016502380371,19  1.471733570098877,20  1.6130437850952148,21  1.5772490501403809,22  1.52907395362854,23  1.428034782409668,24  1.4627792835235596,25  1.461775302886963,26  1.4702470302581787,27  1.4943097829818726,28  1.4746789932250977,29  1.4906061887741089,30  1.4127854108810425,31  1.4552178382873535,32  1.4429655075073242,33  1.470187783241272,34  1.5004136562347412,35  1.457139015197754,36  1.432055115699768,37  1.47483491897583,38  1.4406695365905762,39  1.4969544410705566,40  1.4111571311950684,41  1.3831615447998047,42  1.3048855066299438,43  1.3899734020233154,44  1.3976258039474487,45  1.4286668300628662,46  1.39436674118042,47  1.422532081604004,48  1.452055811882019,49  1.4810572862625122,50  1.4608440399169922,51  1.4630420207977295,52  1.408216118812561,53  1.4094760417938232,54  1.4694641828536987,55  1.378267765045166,56  1.457957148551941,57  1.380078911781311,58  1.3461487293243408,59  1.374085783958435,60  1.3755388259887695,61  1.5014238357543945,62  1.3779674768447876,63  1.4091764688491821,64  1.3811347484588623,65  1.3926327228546143,66  1.436885118484497,67  1.3584022521972656,68  1.3977388143539429,69  1.4249296188354492,70  1.3708088397979736,71  1.401006817817688,72  1.3582624197006226,73  1.5031040906906128,74  1.4119453430175781,75  1.4745867252349854,76  1.3782695531845093,77  1.494367718696594278 ],79 "loss_first": [80  2.308273315429687581 ],82 "loss_last": [83  1.494367718696594284 ],85 "train_seconds": 3221.413412332535,86 "tokens_per_second": 9962.769720003585,87 "resumed_from": null88}