touati-kamel/DziriEval

DziriEval : Benchmark d'Évaluation des LLMs en Dialecte Algérien (Darja)

DziriEval est le benchmark académique natif de questions-réponses à choix multiples (QCM) conçu spécifiquement pour évaluer les capacités de compréhension, de raisonnement et de connaissance culturelle des grands modèles de langage (LLMs) sur le dialecte algérien (Darja).

Ce jeu de données a été construit et vérifié manuellement afin de refléter la richesse linguistique, culturelle et quotidienne de l'Algérie.

Description du Jeu de Données

• —Nombre total de questions : 1 000 QCM natifs (50 questions par domaine).
• —Langue de référence : Arabe algérien (Darja - ar-DZ) avec intégration de phénomènes linguistiques réels comme le code-switching (mélange Darja-Français) et l'Arabizi (écriture en caractères latins et chiffres).
• —Objectif : Mesurer la performance des modèles de traitement du langage naturel (NLP) sur les spécificités culturelles, géographiques, historiques et lexicales de l'Algérie.

Structure du Jeu de Données

Chaque exemple du dataset contient les champs suivants :

Exemple au format JSON

{
  "id": "dz_slang_011",
  "category": "Maîtrise de la Langue & Lexique (6 domaines)",
  "domain": "Argot et Néologismes de la Jeunesse",
  "question": "كي نقولو فلان راسو 'حابس'، واش نقصدو؟",
  "choices": {
    "A": "راهو مسجون في الحبس",
    "B": "توقف عن العمل وراهو شومار",
    "C": "حبس الطوموبيل تاعو في الباركينغ",
    "D": "ثقيل الفهم، غبي، ولا عقليتو منغلقة"
  },
  "answer": "D",
  "explanation": "حابس (Habes) تطلق على الشخص الغبي، المحدود التفكير، أو العنيد الذي لا يتقبل الأفكار الجديدة."
}

Les 20 Domaines Couverts

Le benchmark est divisé en 5 Macro-Catégories regroupant 20 Domaines distincts, ce qui garantit une grande diversité d'évaluation :

1. Culture Populaire, Art & Médias (150 questions)

• —Cinéma, Théâtre et Télévision : Œuvres cultes, acteurs emblématiques, sitcoms populaires et répliques mémorables.
• —Musique et Patrimoine Oral : Styles musicaux traditionnels (Chaâbi, Raï, Kabyle, Andalou), chansons populaires et contes de tradition orale.
• —Sports et Football Algérien : Histoire de l'équipe nationale, clubs locaux (MCA, JSK, CRB, etc.), exploits en Coupe du monde et athlètes olympiques historiques.

2. Géographie & Identité Locale (200 questions)

• —Gastronomie Traditionnelle (المطبخ الجزائري) : Plats typiques régionaux (Couscous, Rechta, Chakhchoukha, Harira) et ustensiles traditionnels.
• —Géographie Physique & Climat : Montagnes (Djurdjura, Aurès, Hoggar), oueds, climats des différentes régions d'Algérie et frontières.
• —Patrimoine Vestimentaire et Artisanat : Habits traditionnels (Karakou, Chedda, Caftan, Burnous) et métiers artisanaux (poterie de Kabylie, dinanderie de Constantine).
• —Toponymie et Surnoms des Villes : Noms vernaculaires et surnoms historiques des wilayas algériennes (ex: El Bahdja pour Alger, La Ville des Ponts suspendus pour Constantine).

3. Histoire & Mémoire (200 questions)

• —Archéologie et Monuments : Sites archéologiques (Timgad, Djemila, Tipaza), Casbah d'Alger et architectures historiques.
• —Figures Historiques et Culturelles : Personnalités majeures de l'histoire précoloniale, coloniale et contemporaine.
• —Histoire Antique et Médiévale : Les royaumes numides, les dynasties islamiques (Rostémides, Zianides) et la période ottomane.
• —Histoire de la Révolution (1954-1962) : Guerre de libération nationale, martyrs (Chouhada), accords d'Évian et dates clés de l'indépendance.

4. Maîtrise de la Langue & Lexique (300 questions)

• —Arabizi Standard & Chiffres : Traduction et décodage de l'écriture vernaculaire en caractères latins mélangés à des chiffres (ex: 3 pour ع, 7 pour ح).
• —Argot et Néologismes de la Jeunesse : Expressions de rue récentes, jargon urbain contemporain et verlan darja.
• —Code-Switching (Mélange Darja-Français) : Alternance linguistique fluide couramment pratiquée au quotidien dans les conversations.
• —Métaphores et Idiomes : Expressions figurées traditionnelles et modernes (ex: Darli El Khel3a, Chba3t M9rout).
• —Proverbes et Sagesses : Les dictons populaires algériens porteurs de sagesse morale et philosophique.
• —Synonymes Régionaux : Variations de vocabulaire selon les régions d'Algérie (Centre, Est, Ouest, Sud).

5. Vie Quotidienne & Sens Commun (150 questions)

• —Institutions et Bureaucratie (الوثائق الإدارية) : Connaissance des documents officiels algériens (S12, casier judiciaire, carte d'identité) et jargon administratif quotidien.
• —Logique et Résolution de Problèmes (الذكاء والفهامة) : Énigmes locales et casse-têtes formulés en dialecte darja mettant à l'épreuve le raisonnement de bon sens.
• —Économie du Quotidien et Commerce : Conversions monétaires populaires (Dinar, Centimes, Frank), expressions de négociation et scènes de commerce de quartier.

Utilisation avec Hugging Face datasets

Vous pouvez facilement charger le jeu de données en Python en utilisant la bibliothèque datasets de Hugging Face :

from datasets import load_dataset

# Charger le benchmark complet
dataset = load_dataset("KamelTouati/dzirieval", split="train")

# Visualiser un exemple de question
print(dataset[0])

Licence et Droits d'Auteur

Ce dataset est mis à disposition sous licence MIT. Vous êtes libre de l'utiliser, de le modifier et de le distribuer à des fins de recherche académique ou de développement d'applications, sous réserve de citer la source originale.