Modelpublic

olzhasAl/kazsandra-sc-kaz-roberta-conversational

sourceHugging Faceapache-2.0updated 2mo agoView on Hugging Face

1likes13downloads

Model Card

Оценка отзыва на казахском языке, от 1 до 5 звёзд

Дообучение kz-transformers/kaz-roberta-conversational на датасете KazSAnDRA, задача score classification. Учебная модель, занятие 37 курса AI/ML, Astana IT University.

Данные

KazSAnDRA (Yeshpanov, Varol, 2024), подвыборка 20,000 отзывов из 140,126. Валидация и тест авторские, без изменений.

Результаты на тесте

метрика	значение
macro-F1	0.312
accuracy	0.770
промах не более 1 звезды	0.843

Для сравнения: лучший результат оригинальной статьи macro-F1 0.39 на полном датасете.

Ограничения

Классы сильно несбалансированы: 72 процента отзывов имеют оценку 5. Модель редко предсказывает оценки 2 и 3. Метки соответствуют оценке пользователя, а не тональности текста, поэтому часть примеров противоречива. Домен: отзывы о мобильных приложениях, книгах, картах и маркетплейсах. За пределами этого домена качество не проверялось.

Как использовать

python

from transformers import pipeline
pipe = pipeline("text-classification", model="olzhasAl/kazsandra-sc-kaz-roberta-conversational")
pipe("өте жақсы қосымша")