astom-M/lora-sft-v12

lora-sft-v12

Qwen3-4B-Instruct-2507 をベースとした LoRA アダプタです。構造化データ出力（JSON, YAML, TOML, CSV, XML）の精度向上を目的にファインチューニングしています。

Model Details

• —Base Model: Qwen/Qwen3-4B-Instruct-2507
• —Method: LoRA + rsLoRA (Rank-Stabilized LoRA)
• —Framework: PEFT / Transformers / BitsAndBytes (4-bit QLoRA)
• —Dataset: u-10bei/structureddatawithcotdataset512v2

Training Hyperparameters

Usage