CoolFace
Datasetpublic

fenyo/L40S-MonEspaceSante-eval-suite

Mon Espace Santé — Suite d'évaluation (closed-book) Jeux d'évaluation gelés avant tout entraînement pour mesurer l'ingestion de connaissances en closed-book (sans contexte) et la résistance à l'hallucination. Utilisés pour comparer les modèles fenyo/L40S-Qwen3-8B-MonEspaceSante-CPT-SFT et fenyo/gpt-oss-20b-FAQ-MES. Fichiers Fichier N Description facts.jsonl 88 Faits de référence (vérité) : fact_id, question, answer, category test_heldout.jsonl 696… See the full description on the dataset page: https://huggingface.co/datasets/fenyo/L40S-MonEspaceSante-eval-suite.

sourceHugging Facecc-by-4.0updated 4mo agoView on Hugging Face
0likes66downloads
Dataset Card

Mon Espace Santé — Suite d'évaluation (closed-book)

Jeux d'évaluation gelés avant tout entraînement pour mesurer l'ingestion de connaissances en closed-book (sans contexte) et la résistance à l'hallucination. Utilisés pour comparer les modèles fenyo/L40S-Qwen3-8B-MonEspaceSante-CPT-SFT et fenyo/gpt-oss-20b-FAQ-MES.

Fichiers

FichierNDescription
facts.jsonl88Faits de référence (vérité) : fact_id, question, answer, category
test_heldout.jsonl696Positives : 8 paraphrases de test par fait, phrasing inédit (jamais vu à l'entraînement). question (paraphrase), answer (réponse de référence du fait), fact_id
eval_official.jsonl30Positives : split validation d'origine (comparaison iso au baseline)
negatives.jsonl47Négatives : questions hors-périmètre (non couvertes par la FAQ) — testent le refus vs l'invention

Protocole

  • —Closed-book : le modèle reçoit la seule question, aucun contexte.
  • —Juge : Qwen3-32B-FP8 (LLM-as-judge).
  • —Positives → binaire CORRECT/INCORRECT (faits-clés présents, pas de contradiction).
  • —Négatives → REFUS (avoue l'ignorance, bon) vs INVENTION (fabrique, mauvais) ; on reporte le taux de refus correct.
  • —Anti-fuite : les questions de test ont été générées avant la génération d'entraînement, et toute donnée d'entraînement trop proche (cosine ≥ 0,85) en a été retirée.

Voir le model card SFT pour les résultats chiffrés et la reproduction.