raulgdp/tinyllama-acredita-cna-col-150M

tinyllama-acredita-cna-col-150M

Primer modelo de lenguaje de arquitectura propia entrenado desde cero en documentación oficial de acreditación universitaria colombiana.

Especializado en el sistema del Consejo Nacional de Acreditación (CNA), la Escuela de Ingeniería de Sistemas y Computación (EISC) y la Universidad del Valle.

Uso rápido

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "raulgdp/tinyllama-acredita-cna-col-150M"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    trust_remote_code=True,          # requerido para arquitectura custom
    torch_dtype=torch.float16,
    device_map="auto",
)
model.eval()

messages = [{"role": "user", "content": "¿Qué son los factores del CNA?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    out = model.generate(
        **inputs,
        max_new_tokens=200,
        do_sample=True,
        temperature=0.3,
        repetition_penalty=1.1,
        pad_token_id=tokenizer.eos_token_id,
    )

print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

Arquitectura

Modelo TinyLLaMA de arquitectura propia entrenado desde cero — no es un fine-tuning.

Dataset de entrenamiento

• —~700 documentos PDF de acreditación (5GB+)
• —Resoluciones MEN: Ley 30/1992, Decreto 1279/2002, Resolución 5778/2017
• —Documentos CNA: lineamientos, factores, indicadores
• —Actas e informes de acreditación EISC - Universidad del Valle
• —~15,000–30,000 pares Q&A generados con Qwen2.5-7B-Instruct como oráculo

Entrenamiento

Limitaciones

• —Modelo 150M entrenado desde cero: respuestas concisas, puede alucinar en preguntas muy específicas.
• —Especializado únicamente en el contexto colombiano (CNA/MEN).
• —No reemplaza consulta de documentos oficiales para decisiones formales.
• —Con ~6M tokens de entrenamiento la generalización es menor a modelos SFT sobre bases pre-entrenadas.

Próxima versión

Se planea publicar raulgdp/qwen-acredita-cna-col-0.5B, un fine-tuning de Qwen2.5-0.5B con LoRA sobre el mismo corpus, con mayor capacidad de razonamiento.

Citación

@misc{tinyllama_acredita_cna_col_150M,
  author  = {raulgdp},
  title   = {TinyLLaMA Acredita CNA Colombia 150M — Primer modelo de acreditación universitaria colombiana},
  year    = {2025},
  url     = {https://huggingface.co/raulgdp/tinyllama-acredita-cna-col-150M},
}

Licencia

Apache 2.0

👥 Autores

EISC — Escuela de Ingeniería de Sistemas y Computación Universidad del Valle, Cali, Colombia

• —🌐 eisc.univalle.edu.co
• —📧 raul.gutierrez@correounivalle.edu.co
• —📞 +57 2 3212100 Ext. 2796