bogdanrivera/legal_oaxaca_llama3-3_70B_lora

Modelo LoRA Especializado en el Código Civil de Oaxaca (Llama 3.3 70B)

Este modelo es un fine-tuning especializado del potente unsloth/Llama-3.3-70B-Instruct-bnb-4bit para responder preguntas relacionadas con el ámbito civil del estado de Oaxaca, México.

Forma parte de un proyecto de investigación para la creación de un chatbot legal, como parte de mi trabajo de tesis para obtener el grado de Maestro en Inteligencia Artificial (Universidad Tecnológica de la Mixteca, Huajuapan de León, Oaxaca, México).

Este modelo representa una versión más avanzada y con mayor capacidad de razonamiento que su predecesor, la versión de 8B parámetros. Versión anterior (8B): bogdanrivera/legal_oaxaca_llama3-1_8B_unsloth

Detalles del Modelo

Datos de Entrenamiento

El modelo fue entrenado con el mismo dataset curado del Código Civil del Estado de Oaxaca utilizado en la versión anterior. El dataset original (pregunta simple -> texto del artículo) fue enriquecido significativamente mediante generación sintética para crear un conjunto de datos más robusto, incluyendo:

• —Preguntas Conceptuales y de Razonamiento.
• —Solicitudes de Resumen y Explicaciones Simples.
• —Variaciones Coloquiales de las preguntas.
• —Ejemplos Negativos para enseñar al modelo sus límites.

Dataset de entrenamiento: https://huggingface.co/datasets/bogdanrivera/legal_civiles_oaxaca_llama_unsloth_template

Hiperparámetros de Entrenamiento

• —Framework: Unsloth
• —Técnica: Supervised Fine-Tuning (SFT) con PEFT/LoRA
• —lora_r: 16
• —lora_alpha: 16
• —lora_dropout: 0
• —target_modules: ["qproj", "kproj", "vproj", "oproj", "gateproj", "upproj", "down_proj"]
• —learning_rate: 2e-5
• —num_train_epochs: 2
• —per_device_train_batch_size: 1
• —gradient_accumulation_steps: 8
• —optimizer: adamw_8bit

Tamaño

• —Tamaño de los adaptadores LoRA: ~262 MB

Hardware

• —Hardware Type: 1x NVIDIA A100

Especificaciones Técnicas

Arquitectura y Objetivo del Modelo

El modelo base es un transformador de solo decodificador (decoder-only transformer) de la familia Llama 3.3 con 70 mil millones de parámetros. El objetivo del fine-tuning fue especializarlo en el dominio del Código Civil de Oaxaca mediante SFT con adaptadores LoRA para mejorar su capacidad de razonamiento y precisión en un dominio legal complejo.

Infraestructura de Cómputo

Software

• —unsloth
• —torch
• —transformers
• —peft
• —trl
• —datasets

Citación

APA:

Rivera, B. (2025). Oaxaca Civil Code Llama 3.3 70B (Version 1.0) [Model]. Hugging Face.

Autor de la Tarjeta del Modelo

Bogdan Rivera

Contacto

https://bogdanrivera.github.io/curriculumBogdan/