Modelpublic

mamediarrafaye/qwen-senegal-generation

sourceHugging Faceapache-2.0updated 3mo agoView on Hugging Face

0likes14downloads

Model Card

Qwen2.5-3B Sénégal Generation

Modèle de génération de texte en français sénégalais avec code-switching Wolof-Français, spécialisé dans la conversation quotidienne sénégalaise.

Description

Ce modèle est un fine-tuning de Qwen2.5-3B-Instruct sur un corpus de 9507 segments de français sénégalais authentique avec insertions naturelles de mots wolof. Il est spécialisé dans les conversations du quotidien : mobilité urbaine, mobile money, cybersécurité, vie universitaire sénégalaise, et interactions sociales au Sénégal.

Utilisation

Le modèle suit le format Question/Réponse de son corpus d'entraînement :

\\\`python from transformers import AutoTokenizer, AutoModelForCausalLM import torch

model = AutoModelForCausalLM.frompretrained( "mamediarrafaye/qwen-senegal-generation", torchdtype=torch.float16, devicemap="auto", ) tokenizer = AutoTokenizer.frompretrained( "mamediarrafaye/qwen-senegal-generation" )

def generer(message, maxnewtokens=150): # Format obligatoire : Question/Réponse (format du corpus) formatted = f"Question : {message}\nRéponse :"

inputs = tokenizer(formatted, returntensors="pt").to(model.device) with torch.nograd(): outputs = model.generate( **inputs, maxnewtokens=maxnewtokens, temperature=0.7, topp=0.9, dosample=True, repetitionpenalty=1.2, padtokenid=tokenizer.eostokenid, ) response = tokenizer.decode(outputs[0], skipspecial_tokens=True) return response.split("Réponse :")[-1].strip()

Domaines couverts

—Vie universitaire sénégalaise (examens, mémoires, bourses, inscriptions)
—Mobile money (Wave, Orange Money, transferts)
—Cybersécurité et phishing
—Transport urbain (BRT, Car Rapide, TER)
—ASR et développement logiciel
—Interactions sociales quotidiennes au Sénégal

Format d'entrée

Le modèle attend le format suivant : \\\ Question : [votre message] Réponse : \\\

Données

—9507 segments de français sénégalais authentique
—26% code-switching Wolof-Français
—74% français sénégalais standard
—Sources : conversations simulées de contexte étudiant sénégalais

Entraînement

—Modèle de base : Qwen2.5-3B-Instruct
—Méthode : LoRA fine-tuning (r=64)
—Epochs : 3
—Learning rate : 2e-4
—Framework : TRL/SFTTrainer

Exemples de sorties

Question	Réponse générée
Gayi, qui a de la monnaie pour le taxi ?	Amoul problème, j'ai des billets cassés, je gère la course.
Lu bess ? Le guichet automatique est en panne ?	Ah dédet, amoul solo, il y a juste une queue interminable dehors.
Nanga def ? Les données sont bien anonymisées ?	Amoul problème, toutes les informations sensibles ont été effacées.
Gayi, on fait la réunion à quelle heure ?	On se capte sur Google Meet vers 18h, le temps que tout le monde rentre.

Limitations

—Spécialisé dans les conversations du quotidien sénégalais — ne pas utiliser pour des questions générales hors domaine
—Performances optimales avec le format Question/Réponse du corpus