lbryanrick/beto-sentiment-es-tweets

BETO Sentiment ES — Tweets

Clasificador de polaridad afectiva en español (3 clases: negative, neutral, positive) obtenido haciendo fine-tuning de BETO sobre el subconjunto en español de `cardiffnlp/tweet_sentiment_multilingual`.

Uso rápido

from transformers import pipeline
clf = pipeline("text-classification", model="lbryanrick/beto-sentiment-es-tweets")
clf("La película me pareció maravillosa, muy recomendada.")
# -> [{'label': 'positive', 'score': 0.97}]

Datos

• —Dataset: cardiffnlp/tweet_sentiment_multilingual (split spanish)
• —Entrenamiento: 1839 ejemplos
• —Validación: 324 ejemplos
• —Test: 870 ejemplos (balanceado: 290 por clase)

Métricas en test

Por clase

Estos resultados son comparables con el baseline XLM-R reportado en Barbieri et al. (2022) para el split en español del dataset, alcanzado con un modelo más pequeño (BETO base, 110M parámetros) y sin pre-entrenamiento específico de dominio social.

Limitaciones

• —Dominio: entrenado sobre tuits. La generalización a otros registros (formal, noticias, reseñas largas, atención al cliente) puede degradarse.
• —Variedad geográfica: el dataset mezcla español de varias regiones. No se garantiza rendimiento uniforme en cada variedad dialectal.
• —Ironía y sarcasmo: los clasificadores BERT-base de tres clases sufren con contenido sarcástico, especialmente cuando no hay marcadores explícitos.
• —Ambigüedad neutral / leve polaridad: la clase neutral concentra los principales errores del modelo (F1 ≈ 0.59), porque muchos textos etiquetados como neutrales contienen carga afectiva leve.
• —Sesgos: los modelos heredan sesgos del corpus de pre-entrenamiento y del de fine-tuning. No usar para decisiones de alto impacto sin evaluación adicional sobre la distribución objetivo.

Reproducibilidad

Semilla: 42. Hiperparámetros:

Cita

@inproceedings{CaneteCFP2020,
  title={Spanish Pre-Trained BERT Model and Evaluation Data},
  author={Cañete, José and Chaperon, Gabriel and Fuentes, Rodrigo and Ho, Jou-Hui and Kang, Hojin and Pérez, Jorge},
  booktitle={PML4DC at ICLR 2020},
  year={2020}
}

@inproceedings{barbieri-etal-2022-xlm,
  title={{XLM}-{T}: Multilingual Language Models in {T}witter for Sentiment Analysis and Beyond},
  author={Barbieri, Francesco and Espinosa Anke, Luis and Camacho-Collados, Jose},
  booktitle={Proceedings of LREC},
  year={2022}
}