fenyo/L40S-MonEspaceSante-CPT-corpus
Mon Espace Santé — Corpus CPT synthétique Corpus synthétique de continued pre-training (CPT) généré à partir de 88 faits réels (paires Q/R « grounded ») de la FAQ du service public français Mon espace santé (fenyo/MonEspaceSante-FAQ-QA, source == "real"). But : injecter ces connaissances dans les poids d'un LLM sans RAG. Ce corpus sert au CPT décrit dans le modèle fenyo/L40S-Qwen3-8B-MonEspaceSante-CPT-SFT. Génération (résumé) Générateur : Qwen3-32B-FP8 servi par… See the full description on the dataset page: https://huggingface.co/datasets/fenyo/L40S-MonEspaceSante-CPT-corpus.
Mon Espace Santé — Corpus CPT synthétique
Corpus synthétique de continued pre-training (CPT) généré à partir de 88 faits réels (paires Q/R « grounded ») de la FAQ du service public français Mon espace santé (fenyo/MonEspaceSante-FAQ-QA, source == "real").
But : injecter ces connaissances dans les poids d'un LLM sans RAG. Ce corpus sert au CPT décrit dans le modèle fenyo/L40S-Qwen3-8B-MonEspaceSante-CPT-SFT.
Génération (résumé)
Générateur : Qwen3-32B-FP8 servi par vLLM. Deux familles de documents, toutes ancrées à 1 « hop » des 88 faits réels (jamais de synthétique-sur-synthétique, pour éviter le model collapse) :
- Reformulations multi-styles — prompts Nemotron-CC de NVIDIA NeMo Curator (rephrase Wikipédia, distill, extract-knowledge, knowledge-list, diverse-QA), traduits en français.
- EntiGraph (implémentation maison d'après arXiv:2409.07431) — passages de synthèse reliant des paires/triplets de faits, source de la diversité combinatoire inter-faits.
Pool brut ≈ 7,3 M tokens → filtrage qualité + décontamination (similarité d'embeddings ≥ 0,85 contre les questions de test held-out) → sous-ensembles emboîtés pour l'étude d'échelle.
Fichiers
Champ unique : text (document brut, préfixé d'un tag de domaine [Mon espace santé]).
Références scientifiques
EntiGraph (arXiv:2409.07431) · Rephrasing the Web / WRAP (arXiv:2401.16380) · Physics of LM 3.1 (arXiv:2309.14316). Voir le model card SFT pour le détail complet et les paramètres.