AngelGabrielTroncoso/Qwen3-0.6B-aeroespacial-cultural-somosnlp

Qwen3-0.6B-aeroespacial-cultural-somosnlp

This model card focuses on the post-training and alignment process for cultural and regional identity within the context of Spanish-speaking space missions.

Model Details

Model Description

Este modelo es una versión post-entrenada y alineada de Qwen2.5-0.5B-Instruct, adaptada específicamente para el #HackathonSomosNLP 2026. El objetivo principal es dotar al modelo de adecuación cultural e identidad regional (basado en la taxonomía de AlKhamissi et al., 2025), permitiéndole discutir hitos de la historia aeroespacial de España y Latinoamérica usando jergas, modismos y el registro lingüístico nativo de los países de origen.

• —Developed by: Angel Gabriel Troncoso Lloncon
• —Model type: Causal Language Model (Transformer Architecture)
• —Language(s) (NLP): Español (Variantes regionales: Chile, Argentina, España, México, Colombia)
• —License: Apache 2.0
• —Finetuned from model: Qwen/Qwen2.5-0.5B-Instruct

Model Sources

• —Repository: AngelGabrielTroncoso/Qwen3-0.6B-aeroespacial-cultural-somosnlp
• —Demo (Space): somosnlp-hackathon-2026/FASat-Alfa

Uses

Direct Use

El modelo está diseñado para interactuar en entornos de chat mediante la estructura ChatML. Su uso principal es la divulgación científica, la recuperación histórica de hitos aeroespaciales (como las misiones FASat, SAOCOM o el cohete Miura 1) y la evaluación de dinámicas sociolingüísticas complejas con variables interseccionales (edad, género, clase social contextual).

Out-of-Scope Use

No debe ser utilizado como un oráculo factual absoluto para misiones aeroespaciales en tiempo real ni para sistemas de navegación críticos. Tampoco debe emplearse para forzar o generar discursos que ridiculicen o caricaturicen de forma exagerada las identidades culturales de las regiones mapeadas.

Bias, Risks, and Limitations

Recomendaciones y Sesgos

Al ser un modelo compacto (0.6B parámetros), puede presentar una degradación menor en tareas de razonamiento lógico matemático extremadamente abstracto fuera de su dominio. Aunque fue diseñado con prompts neutrales como "trampas de sesgo" para mitigar estereotipos vulgares, el usuario debe supervisar las respuestas generadas en temperaturas muy altas ($> 1.0$), donde la coherencia regional o el léxico técnico podrían mezclarse.

How to Get Started with the Model

Puedes cargar e interactuar con el modelo directamente utilizando la librería transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "AngelGabrielTroncoso/Qwen3-0.6B-aeroespacial-cultural-somosnlp"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto")

# Ejemplo utilizando la plantilla de sistema basada en ChatML
prompt = "<|im_start|>system\nEres una persona de Chile de 30 años. Responde sobre el satélite chileno FASat-Alfa.<|im_end|>\n<|im_start|>user\n¿Qué le pasó a ese satélite?<|im_end|>\n<|im_start|>assistant\n"

inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

## Training Details

### Training Data
El modelo fue alineado utilizando el dataset dinámico multicultural:  
🔗 **`AngelGabrielTroncoso/dataset-aeroespacial-cultural-somosnlp`** Este corpus consta de **210 registros curados** que abarcan las dimensiones de *Conocimiento Cultural, Preferencia o Norma, Dinámica de Diálogo y Trampas de Sesgo*.

### Training Procedure
El proceso de post-entrenamiento e ingeniería de alineamiento se estructuró bajo la técnica de modelado de personas interaccionales (*Tseng et al., 2024*). El modelo procesa tokens de control de sistema para anclar variables sociodemográficas (ejes interseccionales) directamente en los estados ocultos de la red, optimizando la generación hacia la variedad dialectal objetivo del usuario sin comprometer sus capacidades lingüísticas base.

---

## Technical Specifications

* **Hardware:** HF Spaces Inference Grid (CPU / GPU Optimizado)
* **Framework:** PyTorch & Transformers Core
* **Context Window:** 32k tokens (heredado de la arquitectura nativa Qwen2.5)

---

## Citation

Si encuentras útil este modelo o la base de datos de misiones hispanas para tu investigación, por favor cítalo en el marco del Hackathon de SomosNLP utilizando el siguiente formato:

@software{troncoso2026qwen3, author = {Angel Gabriel Troncoso Lloncon}, title = {Qwen3-0.6B Aeroespacial Cultural - SomosNLP 2026}, month = {May}, year = {2026}, publisher = {Hugging Face}, journal = {Hugging Face Models}, howpublished = {\url{https://huggingface.co/AngelGabrielTroncoso/Qwen3-0.6B-aeroespacial-cultural-somosnlp}} }