fenyo/L40S-MonEspaceSante-refusals

Mon Espace Santé — Exemples de refus (anti-hallucination)

588 paires question (hors-périmètre) → réponse de refus, destinées à apprendre à un modèle à avouer son ignorance plutôt qu'à inventer, sur des questions non couvertes par la FAQ Mon espace santé. Utilisées pour le SFT du modèle fenyo/L40S-Qwen3-8B-MonEspaceSante-CPT-SFT-anti-hallucination.

Pourquoi

Un modèle entraîné uniquement sur des positives apprend « réponds toujours » → il hallucine sur les questions hors-périmètre (refus correct ≈ 13 % seulement). Ajouter ces exemples au SFT fait passer ce taux à ~79 % (voir le model card). Crucial pour un service public de santé.

Construction

• —Questions : générées par Qwen3-32B-FP8 (vLLM, temp 1.0) — cas limites de Mon espace santé non documentés, conseils médicaux généraux, autres administrations, questions techniques pointues. 700 candidates → décontamination (embeddings, cosine ≥ 0,8) vs les 47 négatives d'évaluation et les 696 questions positives held-out → 588 conservées.
• —Réponses : 8 formulations de refus variées, polies, sans aucune invention, orientant vers les canaux officiels (monespacesante.fr, 3422, professionnel de santé).

Champs

question (str) · answer (str, refus) · src = refusal

⚠️ Jeu disjoint des jeux d'évaluation (eval-suite) par construction (décontamination), pour une mesure non biaisée du taux de refus.