CoolFace
Modelpublic

Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned

sourceHugging Facemitupdated 10mo agoView on Hugging Face
0likes14downloads
Model Card

Modelo: Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned

Detalles del Modelo

Este es un Small Language Model (SLM) con aproximadamente 51.21M de parámetros, entrenado desde cero.

Arquitectura

  • —Capas: 8
  • —Cabezales de Atención: 8
  • —Dimensión de Embeddings: 512
  • —Tamaño de Vocabulario: 50257
  • —Tamaño de Contexto: 512

Proceso de Entrenamiento

  1. 1.Pre-entrenamiento: Entrenado sobre un corpus masivo y diverso de texto y código.
  2. 2.Afinamiento Unificado: Afinamiento sobre una mezcla de 10 datasets especializados.

Cómo Usar

python
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": "Escribe un poema corto sobre el universo."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs, skip_special_tokens=False))