MisterAI/WM-ENT-API-DUMP_FR_2026.07

1---2license: cc-by-sa-4.03language:4- fr5task_categories:6- text-generation7- text-classification8- text-retrieval9- feature-extraction10- fill-mask11tags:12- wikipedia13- wikimedia14- french15size_categories:16- 1M<n<10M17pretty_name: >-18  Jeux De Données : Dump WikiMedia Français Juillet 2026 : Extraction et19  Nettoyage Complet20---21 22 23# Jeux De Données : Dump WikiMedia Français Juillet 2026 : Extraction et Nettoyage Complet24 25### Description26 27Ce JDD contient des articles extraits du dump complet de Wikimedia d'août 2026, nettoyés et structurés pour l'entraînement de modèles d'apprentissage automatique.28 29**Source originale :** Wikimedia Enterprise  30 31**Licence :** CC BY 4.0 32 33**Volume initial :** 46 Go en tar.gz : ~120-150 Go  décompressés34 35**Volume final nettoyé :** 14.6 Go : 144 fichiers .jsonl36 37**Fichiers traités : 144 'Chunk' Compressés en .tar.gz**38 39```bash40-rwxr-xr-x 1 MisterAI MisterAI 266M 19 sept. 14:21 frwiki_26.07_chunk_0.tar.gz41-rwxr-xr-x 1 MisterAI MisterAI 315M 19 sept. 15:33 frwiki_26.07_chunk_100.tar.gz42-rwxr-xr-x 1 MisterAI MisterAI 324M 19 sept. 15:34 frwiki_26.07_chunk_101.tar.gz43-rwxr-xr-x 1 MisterAI MisterAI 324M 19 sept. 15:35 frwiki_26.07_chunk_102.tar.gz44-[...]45```46 47---48 49### Contenu et Structure50 51Chaque entrée du JDD contient les champs suivants (JSONL, une ligne = un article) :52 53| Champ | Description |54|-------|-------------|55| `id` | Identifiant numérique de la page MediaWiki |56| `Nom_Article` | Titre exact de l'article |57| `URL_Article` | Lien permanent canonique (`https://fr.wikipedia.org/wiki/...`) |58| `Sujet_Article` | **Lead** (chapeau introductif avant la première section `==`) |59| `Texte_Article` | **Texte intégral** de l'article (toutes sections hors références/Annexes/liens externes) |60| `categories` | Liste des catégories `[[Catégorie:...]]` (noms propres, dédoublonnées) |61| `portails` | Liste des portails `{{Portail|...}}` (noms propres, dédoublonnées) |62| `revision_id` | ID de la révision source |63| `timestamp` | Horodatage de la révision (ISO 8601) |64 65 66### Exemple : 67- 1 ligne unique jsonl Affichée en pretty-print ici pour lisibilité68 69```json70{71  "id": "5958729",72  "Nom_Article": "Engoulevent de Temminck",73  "URL_Article": "https://fr.wikipedia.org/wiki/Engoulevent_de_Temminck",74  "Sujet_Article": "animal\nembranchement\nsous-embranchement\nclasse\nordre\nfamille\ngenre\nanimal\nEurostopodus temminckii (Gould, 1838) (protonyme)\nLyncornis temminckii area.svg\n\nPrésent à l'année.\n\nLC\n\nLEngoulevent de Temminck (Lyncornis temminckii) est une espèce d'oiseaux de la famille des Caprimulgidae.",75  "Texte_Article": "animal\nembranchement\nsous-embranchement\nclasse\nordre\nfamille\ngenre\nanimal\nEurostopodus temminckii (Gould, 1838) (protonyme)\nLyncornis temminckii area.svg\n\nPrésent à l'année.\n\nLC\n\nLEngoulevent de Temminck (Lyncornis temminckii) est une espèce d'oiseaux de la famille des Caprimulgidae.\n\n== Répartition ==\nCet oiseau vit au Brunei, en Indonésie, en Malaisie, à Singapour et en Thaïlande.\n\n== Taxinomie ==\nLa dénomination spécifique, temminckii, commémore le zoologiste néerlandais Coenraad Jacob Temminck.",76  "categories": [77    "Portail:Sciences/Articles liés",78    "Projet:Biologie/Pages liées",79    "Caprimulgidae",80    "Oiseau de Malésie",81    "Oiseau décrit en 1838",82    "Statut UICN Préoccupation mineure",83    "Portail:Biologie/Articles liés",84    "Taxobox utilisant la classification du Congrès ornithologique international",85    "Article utilisant une Infobox",86    "Portail:Ornithologie/Articles liés",87    "Portail:Zoologie/Articles liés",88    "Article avec taxobox-animal",89    "Article à illustrer Taxobox animal"90  ],91  "portails": [92    "ornithologie"93  ],94  "revision_id": "232862472",95  "timestamp": "2026-01-30T02:13:00Z"96}97```98- 1 Ligne unique jsonl99```json100{"id": "5958729", "Nom_Article": "Engoulevent de Temminck", "URL_Article": "https://fr.wikipedia.org/wiki/Engoulevent_de_Temminck", "Sujet_Article": "animal\nembranchement\nsous-embranchement\nclasse\nordre\nfamille\ngenre\nanimal\nEurostopodus temminckii (Gould, 1838) (protonyme)\nLyncornis temminckii area.svg\n\nPrésent à l'année.\n\nLC\n\nLEngoulevent de Temminck (Lyncornis temminckii) est une espèce d'oiseaux de la famille des Caprimulgidae.", "Texte_Article": "animal\nembranchement\nsous-embranchement\nclasse\nordre\nfamille\ngenre\nanimal\nEurostopodus temminckii (Gould, 1838) (protonyme)\nLyncornis temminckii area.svg\n\nPrésent à l'année.\n\nLC\n\nLEngoulevent de Temminck (Lyncornis temminckii) est une espèce d'oiseaux de la famille des Caprimulgidae.\n\n== Répartition ==\nCet oiseau vit au Brunei, en Indonésie, en Malaisie, à Singapour et en Thaïlande.\n\n== Taxinomie ==\nLa dénomination spécifique, temminckii, commémore le zoologiste néerlandais Coenraad Jacob Temminck.", "categories": ["Portail:Sciences/Articles liés", "Projet:Biologie/Pages liées", "Caprimulgidae", "Oiseau de Malésie", "Oiseau décrit en 1838", "Statut UICN Préoccupation mineure", "Portail:Biologie/Articles liés", "Taxobox utilisant la classification du Congrès ornithologique international", "Article utilisant une Infobox", "Portail:Ornithologie/Articles liés", "Portail:Zoologie/Articles liés", "Article avec taxobox-animal", "Article à illustrer Taxobox animal"], "portails": ["ornithologie"], "revision_id": "232862472", "timestamp": "2026-01-30T02:13:00Z"}101```102 103---104 105### Processus de Nettoyage (Pipeline unique)106 107L'extraction est réalisée en **un seul passage** par un Script Python (`mwparserfromhell`) :108 1091. **Parsing streaming** des chunk `tar.gz` → dernière révision de chaque page.1102. **Conversion des tableaux Wiki en Markdown** (avec titre) avant parsing AST.1113. **Parsing AST complet** (`mwparserfromhell`) → suppression sections parasites (Références, Annexes…), balises `<ref>`/`<gallery>`, liens externes.1124. **Dispatch intelligent des templates** (≈ 40 patterns) : suppression totale (`infobox`, `navbox`, `imdb`…), conservation du contenu pour le formatage pur (`gras`, `lang`, `citation`…), extraction sémantique pour les cas utiles (`date`, `lien web`, `ouvrage`, `démographie`, `colonne`, `multiple image`…).1135. **Vignettes & WikiTables simples** : `[[Fichier:…|vignette|desc]]` → `[IMAGE: desc]` ; `{{Wikitable|…|…}}` → `[TABLEAU:\n|…|…|]` (premier niveau seulement).1146. **Nettoyage final** : liens `[[…]]`, entités HTML, apostrophes wiki, espaces.1157. **Extraction métadonnées** (catégories, portails, lead/full_text) + écriture JSONL parallèle.116 117---118 119### **mwparserfromhell : The MediaWiki Parser From Hell**120 121#### **Remerciements** : [earwig/mwparserfromhell](https://github.com/earwig/mwparserfromhell)122 123##### Sans `mwparserfromhell`, deux approches classiques échouent :124 125| Approche naïve | Résultat |126|----------------|----------|127| **Regex globales** sur le wikitexte brut | Casse l'imbrication `{{template {{autre}} }}`, mange du texte, laisse des artefacts, ne gère pas les tableaux `{| |}`. |128| **Troncature au lead** (première section seulement) | **Perte de 70–85 % du texte utile** (historique, description, tableaux, listes, données chiffrées). Mon premier JDD de juillet faisait cela → 6,2 Go au lieu de ~25 Go exploitables. |129 130**[Voir Premier Essai limité à la section introductive : Wiki_FR_2026.07](https://huggingface.co/datasets/MisterAI/Wiki_FR_2026.07)**131 132##### Avec `mwparserfromhell` :133`mwparserfromhell` fournit un **puissant parseur AST** (Abstract Syntax Tree) qui :134 135- Respecte l'imbrication des `{{ }}` et `[[ ]]`.136- Permet `filter_templates(recursive=True)` + traitement **enfants avant parents** (ordre inverse) → les paramètres des templates parents contiennent déjà du texte propre.137- Permet `filter_tags()`, `filter_wikilinks()`, `filter_external_links()`, `filter_comments()` sur l'arbre, pas sur du texte plat. 138- Rend possible la conversion **sémantique** de 40+ families de templates au lieu de les jeter.139 140**Résultat concret** : chaque article garde la majorité du **texte exploitable** (sections, tableaux Markdown, légendes d'images, bibliographies structurées, données démographiques, citations) au lieu d'un chapeau de 3 lignes.141  - NB : Ce n'est pas un outil magique non plus, pour chaque balise a recuperer il faut forger un gestionnaire de balise...142 143---144 145### Versions Disponibles146 147| Nom Répertoire | Taille | Nombre de Fichiers | Nombre de lignes | Publication |148|----------------|--------|---------------------|------------------|-------------|149| WM-ENT-API-DUMP_FR_2026.07_JDD_R_EAv1 | ~100 Mo | 10 fichiers `.jsonl` + 1 validation | 20,356 Lignes | ✅ Disponible |150| WM-ENT-API-DUMP_FR_2026.07_JDD_R_EAv2 | ~200 Mo | 10 fichiers `.jsonl` + 1 validation | 40,843 Lignes | ✅ Disponible |151| WM-ENT-API-DUMP_FR_2026.07_JDD_R_EAv3 | ~500 Mo | 10 fichiers `.jsonl` + 1 validation | 101,472 Lignes | ✅ Disponible |152| WM-ENT-API-DUMP_FR_2026.07_JDD_R_EAv4 | ~1 Go | 10 fichiers `.jsonl` + 1 validation | 202,718 Lignes | 🕐 À Venir |153| **WM-ENT-API-DUMP_FR_2026.07_JDD_COMPLET** | ~11.5Go | 144 fichiers `.jsonl` | 2,831,463 Lignes | 🕐 À Venir |154 155---156 157### Utilisation Recommandée158 159Ce JDD est adapté à :160- L'entraînement de modèles de traitement du langage naturel (LLM, BERT-like, etc.)161- L'extraction d'informations et la classification de textes (catégories/portails comme labels faibles)162- Les tâches de génération de contenu basées sur des connaissances factuelles (RAG, fine-tuning)163- L'analyse structurelle (tables Markdown, listes, citations, données chiffrées)164 165**Note** : Le champ `Sujet_Article` (lead) permet un aperçu rapide ; `Texte_Article` contient le corps complet nettoyé. Les URLs permettent de remonter à la source pour vérification.166 167---168 169### Licence et Attribution170 171Les données originales de Wikimedia-Enterprise sont distribuées sous la licence :172- [**CC BY 4.0**](https://creativecommons.org/licenses/by-sa/4.0/) 173 174**Sources :** 175- [Wikimedia Enterprise](https://enterprise.wikimedia.com/)176 177**Téléchargements :**178```Bash179curl -H "Authorization: Bearer ACCESS_TOKEN" -L https://api.enterprise.wikimedia.com/v2/snapshots/frwiki_namespace_0/download --output frwiki.tar.gz180```181 182Extraction, nettoyage et structuration réalisés par [**MisterAI**](https://huggingface.co/MisterAI) avec : 183 184- L'assistance de :  185  - PHASE I : Ancien JDD 186    - Devstral/Codestral/Nemotron/NorthCohere/Command A+/DDG_AI_Claude4.5187  - PHASE II : Le JDD Actuel188    - Nemotron189    - Claude5-Sonnet190 191- L'utilisation de 192  - **`mwparserfromhell`**