AngelGabrielTroncoso/qwen2-7b-aeroespacial-cultural-v2

qwen2-7b-aeroespacial-cultural-v2

Descripción del Modelo

qwen2-7b-aeroespacial-cultural-v2 es un modelo fine-tuned basado en Qwen2.5-7B-Instruct, orientado a generación de texto, conversación e instruction tuning en español, con enfoque en historia aeroespacial, programas espaciales latinoamericanos, geopolítica tecnológica y patrimonio científico de América Latina y España.

El modelo fue ajustado utilizando un dataset sintético diseñado para mejorar:

• —Naturalidad conversacional
• —Precisión histórica
• —Fluidez cultural hispanohablante
• —Diversidad dialectal
• —Respuestas técnicamente coherentes
• —Comprensión contextual regional

A diferencia de muchos modelos entrenados principalmente en inglés o mediante traducciones automáticas, este modelo prioriza interacción auténtica en español.

Características Principales

• —Fine-tuned para conversación en español
• —Optimizado para instruction tuning
• —Enfoque en historia aeroespacial y tecnológica
• —Mejor alineación cultural para LATAM y España
• —Capacidad conversacional natural
• —Reducción de respuestas robóticas típicas de LLMs
• —Compatibilidad con Transformers, vLLM y Text Generation Inference
• —Optimizado utilizando Unsloth

Casos de Uso

Este modelo está orientado a:

• —Chatbots educativos
• —Asistentes históricos
• —Sistemas QA en español
• —Fine-tuning adicional
• —Investigación histórica conversacional
• —Generación de contenido educativo
• —Aplicaciones RAG
• —Simulación conversacional naturalista

Ejemplos de dominios:

• —Historia espacial latinoamericana
• —Satélites y misiones espaciales
• —Guerra Fría y tecnología aeroespacial
• —ESA, INTA, CONAE, INPE y programas regionales
• —Cohetería experimental
• —Geopolítica científica

Modelo Base

• —Modelo Base: unsloth/Qwen2.5-7B-Instruct-bnb-4bit
• —Arquitectura: Qwen2.5
• —Framework: Transformers + TRL
• —Optimización: Unsloth

Nota: el modelo base utilizado durante el entrenamiento se encuentra cuantizado en 4-bit mediante bitsandbytes.

Dataset Utilizado

El modelo fue entrenado utilizando un dataset sintético de instrucciones en español orientado a:

• —Historia aeroespacial
• —Preguntas humanas naturales
• —Variaciones dialectales hispanohablantes
• —Conversaciones culturalmente alineadas
• —Respuestas técnicas contextualizadas

Estructura del dataset:

{
  "instruction": "¿Qué pasó con el FASat-Alfa?",
  "context": "Misión satelital chilena lanzada en 1995...",
  "response": "El FASat-Alfa fue el primer satélite chileno..."
}

Diversidad Lingüística

El entrenamiento incorpora variaciones reales del español:

El objetivo fue mejorar:

• —Fluidez conversacional
• —Comprensión regional
• —Naturalidad lingüística
• —Robustez ante distintos registros

Formato Recomendado de Prompt

El modelo fue entrenado utilizando formato conversacional tipo chat.

Ejemplo:

from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="AngelGabrielTroncoso/qwen2-7b-aeroespacial-cultural-v2"
)

messages = [
    {
        "role": "system",
        "content": "Eres un historiador aeroespacial especializado en América Latina."
    },
    {
        "role": "user",
        "content": "¿Por qué fue importante el programa Cóndor II?"
    }
]

response = pipe(messages)
print(response)

Ejemplo de Uso con Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
import torch

model_id = "AngelGabrielTroncoso/qwen2-7b-aeroespacial-cultural-v2"

# 1. Definir la configuración de cuantización
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_quant_type="nf4"
)

# 2. Cargar el tokenizador
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 3. Cargar el modelo pasando la configuración
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    quantization_config=quantization_config
)

print("¡Modelo cargado exitosamente!")

Rendimiento Esperado

El modelo presenta mejor desempeño en:

• —Conversación en español
• —QA histórico
• —Generación educativa
• —Reformulación natural
• —Explicaciones técnicas accesibles
• —Contextualización geopolítica
• —Preguntas culturalmente contextualizadas

Puede mostrar menor precisión en:

• —Matemática avanzada
• —Programación compleja
• —Eventos posteriores a la fecha de entrenamiento
• —Dominios científicos no aeroespaciales

Limitaciones

• —No reemplaza fuentes históricas primarias.
• —Algunas respuestas priorizan claridad sobre profundidad académica extrema.
• —Puede simplificar eventos geopolíticos complejos.
• —El comportamiento depende de la calidad del prompt.
• —Como cualquier LLM, puede generar errores factuales ocasionales.

Entrenamiento

El modelo fue fine-tuned utilizando:

• —TRL de Hugging Face
• —LoRA / QLoRA
• —Unsloth para optimización eficiente
• —Instruction tuning supervisado

Entrenado utilizando técnicas de eficiencia de memoria orientadas a hardware de consumo.

Autor

• —Desarrollado por: AngelGabrielTroncoso

Licencia

Este modelo se distribuye bajo licencia Apache-2.0.

Agradecimientos

Este proyecto busca mejorar la representación del patrimonio aeroespacial latinoamericano e hispanohablante dentro del ecosistema open-source de inteligencia artificial.

Entrenado utilizando:

• —Qwen2.5
• —Unsloth
• —Transformers
• —TRL
• —Hugging Face Ecosystem

Unsloth

Este modelo fue entrenado utilizando Unsloth para acelerar el fine-tuning y reducir el consumo de memoria.

👉 https://github.com/unslothai/unsloth

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="220"/>