Hedi-Bk/qwen3_8B-tunisian-law-lora-2epochs

Qwen3 8B - Tunisian Law Assistant (LoRA Adapters)

 [](https://www.apache.org/licenses/LICENSE-2.0) [](https://huggingface.co/Hedi-Bk/qwen38B-tunisian-law-lora)

📝 Description

Ce dépôt contient les adaptateurs LoRA d'un modèle Qwen3 8B fine-tuné sur le droit tunisien (codes, procédures, jurisprudence). Ces adaptateurs sont la version légère (~100 MB) du modèle complet, permettant une reprise rapide du fine-tuning ou un chargement sur des ressources limitées.

Spécifications d'entraînement

🚀 Utilisation

Chargement avec Unsloth (recommandé)

from unsloth import FastLanguageModel

# Charger le modèle de base avec les adaptateurs
model, tokenizer = FastLanguageModel.from_pretrained(
    "Hedi-Bk/qwen3_8B-tunisian-law-lora",
    max_seq_length=4096,
    dtype=None,
    load_in_4bit=True,
)

Chargement avec 🤗 Transformers + PEFT

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Charger le modèle de base
base_model = AutoModelForCausalLM.from_pretrained(
    "unsloth/Qwen3-8B-unsloth-bnb-4bit",
    device_map="auto",
    load_in_4bit=True,
)
tokenizer = AutoTokenizer.from_pretrained("unsloth/Qwen3-8B-unsloth-bnb-4bit")

# Charger les adaptateurs
model = PeftModel.from_pretrained(base_model, "Hedi-Bk/qwen3_8B-tunisian-law-lora")

Inférence (format ChatML)

messages = [
    {"role": "system", "content": "Vous êtes un assistant juridique spécialisé dans le droit tunisien."},
    {"role": "user", "content": "Quelles sont les conditions de validité d'un contrat de vente ?"}
]

prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

📊 Exemple de réponse

Question :

Quelles sont les conditions de validité d'un contrat de vente en droit tunisien ?

Réponse :

Selon le Code des Obligations et Contrats tunisien (article 124), les conditions de validité d'un contrat de vente sont : le consentement des parties, la capacité de contracter, un objet certain et une cause licite. Source : COC art. 124.

🔗 Modèles associés

⚠️ Avertissement légal

Ce modèle est fourni à titre informatif uniquement. Il ne constitue pas un avis juridique professionnel. Les lois et réglementations sont sujettes à modifications. Consultez toujours un avocat qualifié pour tout conseil juridique.

📜 Licence

Ce modèle est distribué sous licence Apache 2.0.

🙏 Remerciements

• —Unsloth AI pour l'optimisation du fine-tuning
• —Hugging Face pour l'hébergement
• —Google pour les GPUs T4 via Kaggle ---