NbAiLabArchive/test_w5_long_dataset

1./run_mlm_flax.py \2    --output_dir="./" \3    --model_type="roberta" \4    --config_name="./" \5    --tokenizer_name="./" \6    --dataset_name="NbAiLab/NCC_small" \7    --cache_dir="/mnt/disks/flaxdisk/cache/" \8    --max_seq_length="128" \9    --weight_decay="0.01" \10    --per_device_train_batch_size="128" \11    --per_device_eval_batch_size="128" \12    --learning_rate="2e-4" \13    --warmup_steps="5000" \14    --overwrite_output_dir \15    --num_train_epochs="2500" \16    --adam_beta1="0.9" \17    --adam_beta2="0.98" \18    --logging_steps="5000" \19    --save_steps="5000" \20    --eval_steps="5000" \21    --preprocessing_num_workers="64" \22    --push_to_hub23