Apppublic

kawter/tpupload

sourceHugging Facemitupdated 5mo agoView on Hugging Face

0likes

App README

🎬 Automated Video Dubbing & Translation Pipeline

Projet TP 2026 — Pipeline de doublage automatique open-source, sans aucune API commerciale.

🏗️ Architecture du Pipeline

Vidéo uploadée
      │
      ▼
┌─────────────────────────────────────────────────┐
│  TASK 1 — Extraction & Transcription            │
│  • ffmpeg → audio WAV mono 16kHz                │
│  • WhisperX (medium) → ASR                      │
│  • wav2vec2 → Alignement forcé (timestamps ±50ms)│
│  Output: segments [{start, end, text}]           │
└─────────────────────┬───────────────────────────┘
                      │
                      ▼
┌─────────────────────────────────────────────────┐
│  TASK 2 — Traduction LLM Local                  │
│  • Qwen2.5-1.5B-Instruct (< 2B params)          │
│  • Traduction segment par segment                │
│  • Anti-hallucination: parse regex + prompt      │
│  Output: SRT traduit (timestamps intacts)        │
└─────────────────────┬───────────────────────────┘
                      │
                      ▼
┌─────────────────────────────────────────────────┐
│  TASK 3 — Text-to-Speech HuggingFace            │
│  • facebook/mms-tts (1100+ langues)             │
│  • Time-stretch (librosa PSOLA) si dépassement  │
│  • BONUS: voice cloning via suno/bark            │
│  Output: piste audio doublée (WAV)               │
└─────────────────────┬───────────────────────────┘
                      │
                      ▼
┌─────────────────────────────────────────────────┐
│  TASK 4 — Mixage & Intégration Vidéo            │
│  • Audio Ducking: original 10% / TTS 90%        │
│  • Fade in/out 80ms pour éviter les clics        │
│  • Gravure SRT avec ffmpeg (subtitles filter)    │
│  Output: vidéo finale MP4                        │
└─────────────────────────────────────────────────┘

🤖 Modèles Utilisés

Tâche	Modèle	Params	Source
ASR	openai/whisper-medium	307M	HuggingFace
Alignement	wav2vec2 (via WhisperX)	317M	HuggingFace
Traduction	Qwen/Qwen2.5-1.5B-Instruct	1.5B	HuggingFace
TTS	facebook/mms-tts-{lang}	~80M	HuggingFace
Voice Clone (bonus)	suno/bark	900M	HuggingFace

✅ Aucune API commerciale — Tous les modèles sont open-weights

🌍 Langues Supportées

French, Spanish, German, Arabic, Italian, Portuguese, Turkish

🚀 Utilisation

1.Uploadez votre vidéo (MP4, AVI, MOV — max ~200MB)
2.Sélectionnez la langue cible
3.Cliquez sur "Lancer le doublage"
4.Téléchargez la vidéo doublée

📋 Choix d'Ingénierie

—WhisperX plutôt que Whisper seul → timestamps précis à ±50ms via wav2vec2
—Qwen2.5-1.5B plutôt que TinyLlama → meilleure qualité de traduction multilingue à taille équivalente
—MMS-TTS plutôt que SpeechT5 → support natif de 1100+ langues sans fine-tuning
—Upload local plutôt qu'URL YouTube → évite les restrictions réseau dans l'environnement Docker HF Spaces