JulianVelandia/Llama-3.2-1B-unal-instruct-ft-gguf

Llama 3.2-1B UNAL Instruct FT

Descripción

Modelo basado en Meta-Llama-3.2-1B, ajustado con LoRA para tareas de generación de texto en español. Fue entrenado utilizando el dataset Grade Works UNAL Dataset Instruct, el cual contiene preguntas y respuestas derivadas de trabajos de grado de la Universidad Nacional de Colombia.

El entrenamiento se realizó en Google Colab Free con GPU, de manera diferida, y tomó aproximadamente 7 horas.

Notebook

https://github.com/julianVelandia/FinetuningLLMGradeWorksUNALDatasetInstruct

Características

• —Modelo base: Meta-Llama-3.2-1B.
• —Técnica de ajuste: LoRA (Low-Rank Adaptation).
• —Formato de entrenamiento: Instrucción basada en pares pregunta-respuesta.
• —Idiomas soportados: Español.
• —Tamaño: 1B parámetros.

Dataset utilizado

El modelo fue entrenado con el dataset Grade Works UNAL Dataset Instruct, que contiene:

• —16,700 registros de pares pregunta-respuesta.
• —Fuente: Trabajos de grado de la Universidad Nacional de Colombia.
• —Formato: prompt (pregunta), completion (respuesta), fragment (texto base).

Licencia

Apache 2.0