technicolor/Angle_BERT

1{2  "best_metric": null,3  "best_model_checkpoint": null,4  "epoch": 4.444444444444445,5  "eval_steps": 1000,6  "global_step": 800,7  "is_hyper_param_search": false,8  "is_local_process_zero": true,9  "is_world_process_zero": true,10  "log_history": [11    {12      "epoch": 0.5555555555555556,13      "grad_norm": 18.646621704101562,14      "learning_rate": 1.7777777777777777e-05,15      "loss": 12.9379,16      "step": 10017    },18    {19      "epoch": 1.1111111111111112,20      "grad_norm": 15.787500381469727,21      "learning_rate": 1.555555555555556e-05,22      "loss": 12.4243,23      "step": 20024    },25    {26      "epoch": 1.6666666666666665,27      "grad_norm": 24.62742805480957,28      "learning_rate": 1.3333333333333333e-05,29      "loss": 12.1655,30      "step": 30031    },32    {33      "epoch": 2.2222222222222223,34      "grad_norm": 22.622655868530273,35      "learning_rate": 1.1111111111111113e-05,36      "loss": 11.9433,37      "step": 40038    },39    {40      "epoch": 2.7777777777777777,41      "grad_norm": 24.53895378112793,42      "learning_rate": 8.888888888888888e-06,43      "loss": 11.9653,44      "step": 50045    },46    {47      "epoch": 3.3333333333333335,48      "grad_norm": 29.335464477539062,49      "learning_rate": 6.666666666666667e-06,50      "loss": 11.8621,51      "step": 60052    },53    {54      "epoch": 3.888888888888889,55      "grad_norm": 23.47711753845215,56      "learning_rate": 4.444444444444444e-06,57      "loss": 11.5167,58      "step": 70059    },60    {61      "epoch": 4.444444444444445,62      "grad_norm": 21.372766494750977,63      "learning_rate": 2.222222222222222e-06,64      "loss": 11.3985,65      "step": 80066    }67  ],68  "logging_steps": 100,69  "max_steps": 900,70  "num_input_tokens_seen": 0,71  "num_train_epochs": 5,72  "save_steps": 100,73  "total_flos": 1007165894833152.0,74  "train_batch_size": 32,75  "trial_name": null,76  "trial_params": null77}78