Mihaiii/Ovis2-4B-RL-VQA-1

%%bash CUDAVISIBLEDEVICES=0 \ MAXPIXELS=1003520 \ swift rlhf \ --rlhftype grpo \ --model 'Mihaiii/Ovis2-4B' \ --modeltype ovis2 \ --externalplugins './plugin.py' \ --rewardfuncs externaldbaccuracy \ --traintype lora \ --lorarank 8 \ --loraalpha 32 \ --targetmodules all-linear \ --torchdtype bfloat16 \ --dataset 'Mihaiii/OCRBenchv2-other-cols-2' \ --usehf 1 \ --maxcompletionlength 1024 \ --numtrainepochs 1 \ --perdevicetrainbatchsize 4 \ --perdeviceevalbatchsize 4 \ --learningrate 1e-4 \ --gradientaccumulationsteps 1 \ --evalsteps 50 \ --savesteps 250 \ --savetotallimit 2 \ --loggingsteps 5 \ --maxlength 2048 \ --outputdir output \ --warmupratio 0.05 \ --dataloadernumworkers 4 \ --datasetnumproc 4 \ --numgenerations 4 \ --temperature 0.9 \ --splitdataset_ratio 0