Akajackson/donut_rus

Описание модели

Модель Donut (end-to-end transformer) для распознавания текстов на русском языке. https://github.com/clovaai/donut

Для обучения сгенерирован датасет SynthDoG из 100тыс изображений, с текстами, взятыми из произведений русской литературы. https://huggingface.co/datasets/Akajackson/donutsynthdogrus

Модель обучена на ноутбуке от уважаемого NielsRogge с заменой оригинального токенайзера на DeepPavlov/xlm-roberta-large-en-ru на площадке Kaggle. https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Donut/CORD/FinetuneDonutonacustomdataset(CORD)withPyTorchLightning.ipynb

Метрика на валидации Normed ED: 0.02239.

Возможности модели

Данная модель является базовой для следующих задач:

• —распознавание различных типов документов;
• —ответы на вопросы по документу;
• —классификация документов.

Для решения Вашей задачи возможно использовать выше упомянутые ноутбуки. Датасет необходимо разметить в формате, который указан в репозитории Donut.