Kei-Sanada/task-13-Qwen-Qwen2.5-3B-Instruct

Character Roleplay LoRA for Qwen/Qwen2.5-3B-Instruct

推奨推論パラメータ

このモデルはキャラクターロールプレイ向けに最適化されています。以下の推論設定を推奨します：

generation_config = {
    "temperature": 0.8,  # キャラクターの個性と一貫性のバランス
    "top_p": 0.95,       # 応答の多様性を確保
    "repetition_penalty": 1.1,  # 繰り返しを抑制
    "max_new_tokens": 1024,
    "do_sample": True
}

トレーニング設定

• —Base model: Qwen/Qwen2.5-3B-Instruct
• —Context length: 4096
• —Training parameters:
• —perdevicetrainbatchsize: 1
• —gradientaccumulationsteps: 4
• —numtrainepochs: 10
• —maxseqlength: 4096
• —lora_rank: 8
• —lora_alpha: 51
• —lora_dropout: 0.05908611332363597
• —loratargetmodules: ['qproj', 'kproj', 'vproj', 'oproj', 'gateproj', 'upproj', 'down_proj']
• —learning_rate: 2.132627712168491e-05
• —lrschedulertype: polynomial
• —num_cycles: 2
• —weight_decay: 0.0011271666898498792
• —warmup_ratio: 0.24076647952825178
• —maxgradnorm: 1.0
• —optim: adamw_8bit
• —eval_steps: 100
• —save_strategy: steps
• —save_steps: 200
• —logging_steps: 25
• —gradient_checkpointing: True
• —bf16: True