Serpi/sancho-mini-gpt

license: mit language: es pipeline_tag: text-generation ---

sancho-mini: Un GPT a nivel de carácter que escribe sonetos como Cervantes

Este es un modelo Generative Pre-trained Transformer (GPT) entrenado desde cero con PyTorch para generar sonetos en español.

Detalles del Modelo

• —Arquitectura: GPT (Decoder-only Transformer)
• —Nivel de Tokenización: Carácter
• —Tamaño del Vocabulario: 64
• —Dimensión de Embedding (`n_embd`): 256
• —Longitud de Contexto (`block_size`): 256
• —Número de Capas Transformer (`n_layer`): 4
• —Número de Cabezas de Atención (`n_head`): 4
• —Tasa de Dropout: 0.2
• —Número de Parámetros: 3.25M

Datos de Entrenamiento

El modelo fue entrenado con un corpus de sonetos en español (datos_sancho_mini.txt), los poemas en el dataset están estructurados con tokens especiales para indicar el inicio y el fin de cada poema.

Uso

Para usar este modelo, necesitas cargar el state_dict en una instancia de la arquitectura del modelo definida en el notebook de entrenamiento.