davidpistori/mistral-legal-french-dataset

Examples 1 → 10,000      : LegalKit (simple Q&A)
Examples 10,001 → 14,875 : COT (complex reasoning)

Minimums (reasoning quality):
- Facts exposition: ≥ 1,500 characters
- Legal reasoning: ≥ 8,000 characters
- Decision: ≥ 200 characters
- Date: ≥ 2020

Maximums (LLM token optimization):
- Facts: ≤ 12,000 characters
- Reasoning: ≤ 25,000 characters
- Decision: ≤ 5,000 characters

### 1. Situation juridique
[Question reformulation + legal problem identification]

### 2. Cadre juridique applicable
[Legal article citations + principle explanations]

### 3. Analyse et conditions
[Conditions to be met with numbered list]

### 4. Réponse et conseils
[Direct answer + practical guidance]

max_tokens: 3000
temperature: 0.7
top_p: 0.9

@misc{legalkit,
  author = {Louis Brulé Naudet},
  title = {LegalKit: French Legal Question Answering Dataset},
  year = {2024},
  publisher = {HuggingFace},
  url = {https://huggingface.co/datasets/louisbrulenaudet/legalkit}
}

Criteria:
- Non-empty query with ≥ 50 characters
- Non-empty output with ≥ 50 characters

Target: 10,000 examples
Seed: 42 (reproducibility)
Method: shuffle + select

{
  "messages": [
    {"role": "user", "content": "<query>"},
    {"role": "assistant", "content": "<output>"}
  ]
}

LegalKit: 10,000 examples
COT: 4,875 examples

Checks:
✓ "messages" key present
✓ Non-empty list
✓ Each message has "role" and "content"
✓ No empty content

# IMPORTANT: No shuffling!
final_dataset = legalkit_valid + cot_valid

Output: dataset_autotrain_curriculum.jsonl (20.7 MB)
Format: 1 JSON per line
Encoding: UTF-8

{
  "total_count": 14875,
  "legalkit": {"count": 10000, "avg_length_chars": 828},
  "cot": {"count": 4875, "avg_length_chars": 2305},
  "valid_examples": 14875
}

{
  "messages": [
    {"role": "system", "content": "..."},
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

{
  "messages": [
    {
      "role": "user",
      "content": "Quelles sont les conditions pour résilier un bail d'habitation ?"
    },
    {
      "role": "assistant",
      "content": "Selon l'article 15 de la loi n°89-462 du 6 juillet 1989, le locataire peut résilier le contrat à tout moment, sous réserve de respecter un préavis de 3 mois (réduit à 1 mois dans certaines situations : mutation professionnelle, perte d'emploi, etc.). La résiliation doit être notifiée par lettre recommandée avec AR."
    }
  ]
}

{
  "messages": [
    {
      "role": "system",
      "content": "Voici les articles de loi pertinents:\n\n- Article 1792 du code civil\n- Article 1792-2 du code civil\n- Article L. 243-1 du code des assurances\n\nDans ta réponse, cite explicitement les numéros d'articles utilisés."
    },
    {
      "role": "user",
      "content": "J'ai fait construire une maison il y a 8 ans et des fissures importantes sont apparues récemment. Le constructeur refuse d'intervenir en disant que la garantie est expirée. Quels sont mes recours ?"
    },
    {
      "role": "assistant",
      "content": "### 1. Situation juridique\n\nVous faites face à l'apparition de fissures importantes 8 ans après la construction de votre maison, alors que le constructeur invoque l'expiration de la garantie. La question juridique est de savoir si ces fissures peuvent être couvertes par la garantie décennale (article 1792 du code civil) et quels recours vous disposez.\n\n### 2. Cadre juridique applicable\n\n**Article 1792 du code civil** : \"Tout constructeur d'un ouvrage est responsable de plein droit, envers le maître ou l'acquéreur de l'ouvrage, des dommages qui compromettent la solidité de l'ouvrage ou qui, l'affectant dans l'un de ses éléments constitutifs ou l'un de ses éléments d'équipement, le rendent impropre à sa destination.\"\n\n**Durée** : Cette garantie s'applique pendant 10 ans à compter de la réception des travaux (article 1792-4-1).\n\n**Article 1792-2** : Précise que cette garantie s'applique même aux vices apparents non décelés lors de la réception.\n\n### 3. Analyse et conditions\n\nPour bénéficier de la garantie décennale, les conditions suivantes doivent être remplies :\n\n1. **Délai de 10 ans** : Les fissures sont apparues 8 ans après la construction → ✅ Vous êtes dans le délai\n2. **Nature du désordre** : Les fissures doivent compromettre la solidité ou l'usage de l'ouvrage\n3. **Lien de causalité** : Les fissures doivent résulter d'un vice de construction\n\n**Points d'attention** :\n- Les **fissures importantes** peuvent compromettre la solidité (article 1792)\n- Une expertise technique sera probablement nécessaire\n- L'assurance dommages-ouvrage (si souscrite) peut faciliter l'indemnisation\n\n### 4. Réponse et conseils\n\n**Vous pouvez invoquer la garantie décennale**, car :\n✅ Vous êtes dans le délai de 10 ans\n✅ Les fissures importantes peuvent compromettre la solidité\n\n**Démarches à suivre** :\n\n1. **Mandater un expert** (expert judiciaire ou expert privé) pour évaluer :\n   - La nature des fissures (structurelles ou superficielles)\n   - L'origine (vice de construction, sol, etc.)\n   - L'impact sur la solidité\n\n2. **Contacter votre assurance dommages-ouvrage** (si souscrite) : elle doit préfinancer les réparations sans attendre la détermination des responsabilités\n\n3. **Mise en demeure du constructeur** par lettre recommandée avec AR :\n   - Invoquer l'article 1792 du code civil\n   - Joindre le rapport d'expertise\n   - Exiger la prise en charge des réparations\n\n4. **Si refus** : Saisir le tribunal judiciaire compétent (action en responsabilité décennale)\n\n**Important** : Conservez tous les documents (rapport de réception, correspondances, photos des fissures) et agissez rapidement pour préserver vos droits."
    }
  ]
}

# Installation
pip install huggingface_hub

# Login
huggingface-cli login

# Upload
huggingface-cli upload VinceGx33/mistral-legal-french-dataset \
  dataset_autotrain_curriculum.jsonl \
  --repo-type dataset

from huggingface_hub import HfApi

api = HfApi()
api.upload_file(
    path_or_fileobj="dataset_autotrain_curriculum.jsonl",
    path_in_repo="dataset_autotrain_curriculum.jsonl",
    repo_id="VinceGx33/mistral-legal-french-dataset",
    repo_type="dataset"
)

Base model: mistralai/Mistral-7B-Instruct-v0.3
GPU: T4 Medium ($0.60/h)

LoRA:
  rank: 16
  alpha: 32
  dropout: 0.05

Training:
  epochs: 3
  batch_size: 4
  learning_rate: 2e-4
  warmup_steps: 100

Validation:
  split: 0.05

from datasets import load_dataset

dataset = load_dataset("VinceGx33/mistral-legal-french-dataset", split="train")

# First example
print(dataset[0])

# Filter LegalKit (examples 0-9999)
legalkit = dataset.select(range(10000))

# Filter COT (examples 10000-14874)
cot = dataset.select(range(10000, 14875))

import json

examples = []
with open("dataset_autotrain_curriculum.jsonl", "r", encoding="utf-8") as f:
    for line in f:
        examples.append(json.loads(line))

print(f"Loaded {len(examples)} examples")

from trl import SFTTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
from datasets import load_dataset

# Load model
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.3")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.3")

# Load dataset
dataset = load_dataset("VinceGx33/mistral-legal-french-dataset", split="train")

# LoRA configuration
from peft import LoraConfig
lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"]
)

# Trainer
trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    tokenizer=tokenizer,
    peft_config=lora_config,
    max_seq_length=2048,
    dataset_text_field="messages",
    args={
        "output_dir": "./results",
        "num_train_epochs": 3,
        "per_device_train_batch_size": 4,
        "learning_rate": 2e-4,
        "warmup_steps": 100,
    }
)

trainer.train()

@misc{legalkit,
  author = {Louis Brulé Naudet},
  title = {LegalKit: French Legal Question Answering Dataset},
  year = {2024},
  publisher = {HuggingFace},
  url = {https://huggingface.co/datasets/louisbrulenaudet/legalkit}
}

@misc{judilibre_jurica,
  author = {Judilibre},
  title = {JURICA - Tribunal Judiciaire Dataset},
  year = {2024},
  publisher = {HuggingFace},
  url = {https://huggingface.co/datasets/judilibre/jurica-tribunal_judiciaire}
}

@article{curriculum_learning_2025,
  title={Strategic Data Ordering: Enhancing LLM Performance through Curriculum Learning},
  author={Various},
  year={2025},
  note={Performance improvement: +15-20% vs random ordering}
}

@misc{mistral_legal_french,
  author = {VinceGx33},
  title = {Mistral Legal French Dataset},
  year = {2025},
  publisher = {HuggingFace},
  url = {https://huggingface.co/datasets/VinceGx33/mistral-legal-french-dataset},
  note = {14,875 examples with curriculum learning}
}

# Python 3.10+
pip install datasets transformers huggingface_hub mlx-lm

# 1. Prepare COT
cd PrepCOT
python3 1_filtrage_tj.py
python3 2_parsing_tj_v2.py
cd ..
python3 generate_cot_optimized.py --max-samples 5000 --output jurisprudence_cot_v3_5k.jsonl

# 2. Prepare LegalKit
cd LegalKitPreparation
python3 prepare_legalkit_10k.py
cd ..

# 3. Merge with curriculum learning
python3 prepare_autotrain_dataset.py