airdude/tfg-video-dpo-wan22-r8

tfg-video-dpo-wan22-r8

Adaptador LoRA r=8 sobre el transformer DiT de Wan 2.2-T2V-A14B (14,3B parámetros, MoE activo), smoke de verificación del pipeline VideoDPO sobre flow matching.

Configuración

• —Base: Wan-AI/Wan2.2-T2V-A14B-Diffusers (transformer)
• —LoRA: r=8, alpha=8, targetmodules=[toq, tok, tov, to_out.0]
• —4 pares sintéticos (chosen: 30 pasos @ CFG 7.5; rejected: 10 pasos @ CFG 1.5)
• —Loss: log-sigmoide de Wallace 2024 adaptada a flow matching (beta=2000)
• —5 pasos de optimización sobre H200 141 GB (~9 min)

Es una verificación de pipeline (smoke), no un entrenamiento productivo. El objetivo es confirmar que el grafo de gradientes funciona sobre el adaptador con el scheduler de flow matching de Wan 2.2; producir un adaptador con efecto perceptual medible requeriría órdenes de magnitud más cómputo y un dataset de preferencias de vídeo real.