inkoziev/arithmetic

1---2language:3- ru4language_creators:5- machine-generated6license:7- cc-by-nc-4.08multilinguality:9- monolingual10pretty_name: arithmetic11source_datasets: []12tags: []13task_categories:14- question-answering15task_ids:16- closed-domain-qa17---18 19# Арифметические задачи для диалоговой системы20 21Датасет содержит сэмплы с простыми математическими заданиями примерно такого вида:22 23```24- Фонарик Федора работает от 2 батареек, а фонарик Лехи от 6. Сколько батареек нужно фонарикам Федора и Лехи в сумме?25- 2+6=8, столько батареек потребуется.26- Теперь прибавь к результату 469, что получилось?27- 8 плюс 469 равно 47728- Подели на 53, что получилось?29- 930```31 32Основная масса задач связана с арифметическими действиями. Есть некоторое количество задач33на поиск корней квадратного уравнения:34 35```36- Найди действительные корни квадратного уравнения a⋅x²+b⋅x+c для a=45, b=225, c=-27037- Тут два действительных корня -6 и 138```39 40 41Также есть пополняемый набор задач с раскрытым ходом решения:42 43```44- В болотистых лесах проживает 8 сусликов. Охотник съедает по одному суслику каждые 9 дней. Сколько сусликов останется через 12 дней?45- За 12 дней охотник пообедает 1 раз. Поэтому останется 8-1=7 сусликов.46```47 48Некоторые задачи построены так, чтобы заставить модель обращать внимание не просто на49наличие чисел, а на контекст их употребления:50 51```52- Вика принесла в школу 5 мандаринов. Друзья попросили ее поделиться с ними мандаринами. Она отдала им 3 штуки. Сколько мандаринов Вика отдала?53- 354```55 56Иногда числа в задаче не имеют отношения к сути задачи, что должно еще сильнее побуждать решающую модель учитывать контекст:57 58```59-  Перемножив восемь и семь, учитель средней школы №77 получил 5084. Он верно посчитал?60-  Учитель средней школы №77 ошибся, так как 8*7=56, а не 508461```62 63## Формат данных64 65Каждый сэмпл содержит список связанных реплик без префикса "- ", образующих цепочку арифметических заданий, в которых66условие новой задачи требует анализа как минимум предыдущей реплики.67 68## Лексическая вариативность ответов69 70Для многих задач ответ сформулирован не просто как число, в него добавлен сопутствующий текст:71 72```73- Чему равно 2+2?74- 2+2 равно 475```76 77## Метрики генеративных моделей78 79После файнтюна (1 эпоха, lr=1e-5) на 90% датасета, получаются такие метрики на тестовой части:80 81```82Модель                                   Среднее отклонение числового ответа              Доля верных ответов83                                         в сравнении с верным 84sberbank-ai/rugpt3small_based_on_gpt2        8.03e+02%                                    0.05785sberbank-ai/rugpt3medium_based_on_gpt2       2.89e+02%                                    0.08586sberbank-ai/rugpt3large_based_on_gpt2        1.58e+02%                                    0.13187facebook/xglm-2.9B                           8.13e+02%                                    0.22488```89 90## Генератор сэмплов91 92При формировании датасета использовался движок шаблонной генерации из этого репозитория: [https://github.com/Koziev/math](https://github.com/Koziev/math).93 94 95## Использование датасета96 97Датасет используется для тренировки [чатбота](https://github.com/Koziev/chatbot).98