Spatial9/GravityLLM

1#!/usr/bin/env bash2set -euo pipefail3 4python train.py \5  --model Qwen/Qwen2.5-1.5B-Instruct \6  --train_file data/train.jsonl \7  --valid_file data/valid.jsonl \8  --output_dir outputs/GravityLLM-Qwen2.5-1.5B-S9 \9  --max_length 2048 \10  --num_train_epochs 3 \11  --learning_rate 2e-4 \12  --train_batch_size 1 \13  --eval_batch_size 1 \14  --gradient_accumulation_steps 16 \15  --warmup_ratio 0.03 \16  --logging_steps 10 \17  --save_steps 100 \18  --eval_steps 100 \19  --qlora --bf1620