javier-lazaro/Skyrim-Esp-Llama-3.1-8B-Instruct-CSV

Skyrim-Esp-Llama-3.1-8B-Instruct-CSV

Este modelo es la Iteración 1 del proyecto de Fine-Tuning de LLaMA 3.1-8B-Instruct con información de la wiki de The Elder Scrolls V: Skyrim en español, usando un corpus en formato CSV.

Descripción

En esta primera iteración se utilizó un dataset en formato CSV (“Título” + “Contenido”) obtenido mediante scraping de la wiki oficial en español. El modelo base es LLaMA 3.1-8B-Instruct, fine-tuneado con QLoRA sobre texto plano.

Metodología

1. 1.Scraping y limpieza de la wiki de Skyrim en español → CSV con columnas “Título” y “Contenido” (y metadatos extras).
2. 2.Framework: QLoRA (pesos cuantizados, LoRA sobre 8 B).
3. 3.Prompt envolvente en español:

“A continuación se muestra una instrucción que describe una tarea y un contexto adicional. Escribe una respuesta que complete adecuadamente la petición.”

1. 1.Entrenamiento:
2. 2.Épocas: 30
3. 3.Tokenización con AutoTokenizer de Hugging Face.
4. 4.Métrica de pérdida final: ~0.02

Uso

# Instalar Ollama y servir modelo
ollama serve --model javier-lazaro/Skyrim-Esp-Llama-3.1-8B-Instruct-CSV

# Ejemplo con curl
curl -X POST http://localhost:11434/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model":"llama-3.1-8b-instruct-skyrim-csv",
       "messages":[{"role":"user","content":"¿Qué me puedes decir sobre la misión Dragón Renacido?"}]
     }'