CoolFace
Modelpublic

bogdanrivera/legal-phi4-mexico-civil

sourceHugging Facemitupdated 9mo agoView on Hugging Face
0likes
Model Card

Legal Phi-4 México (Civil Oaxaca) - Modelos Experimentales

Este repositorio contiene adaptadores LoRA (Low-Rank Adaptation) para el modelo Phi-4, afinados específicamente para el dominio legal del estado de Oaxaca, México (Códigos Civiles y de Procedimientos).

⚠️ Importante: Los diferentes experimentos de entrenamiento se encuentran organizados en Ramas (Branches), no en la rama principal (main).

Estructura del Repositorio

Para descargar un modelo específico, debes seleccionar la revision (rama) adecuada:

Rama (Revision)DescripciónLearning Rate
lr-2e-5-conservadorEntrenamiento conservador. Mayor estabilidad, menor adaptación a jerga nueva.2e-5
lr-2e-4-optimoRecomendado. Balance óptimo según paper QLoRA.2e-4
lr-4e-4-agresivoEntrenamiento agresivo. Mayor plasticidad, riesgo de inestabilidad.4e-4

¿Cómo usarlo? (Inferencia)

Puedes cargar cualquier versión específica usando unsloth o transformers especificando el parámetro revision.

python
from unsloth import FastLanguageModel
import torch

# Elige la versión que quieres probar:
VERSION = "lr-2e-4-optimo" 

# Carga del modelo
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "bogdanrivera/legal-phi4-mexico-civil",
    revision = VERSION, # <--- AQUÍ SE SELECCIONA LA VERSIÓN DE LEARNING_RATE
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model)

# Prompt (Formato ChatML)
messages = [
    {"role": "user", "content": "¿Qué dice el artículo 1041 del código civil de Oaxaca?"}
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize = True,
    add_generation_prompt = True,
    return_tensors = "pt"
).to("cuda")

# Generación
outputs = model.generate(input_ids = inputs, max_new_tokens = 256, use_cache = True)
respuesta = tokenizer.decode(outputs[0], skip_special_tokens = True)

print(respuesta)