RefalMachine/RuadaptQwen3-4B-Instruct
14394
1---2license: apache-2.03datasets:4- dichspace/darulm5- HuggingFaceFW/fineweb-26- RefalMachine/ruadapt_instruct_25077language:8- ru9- en10base_model:11- Qwen/Qwen3-4B-Instruct-250712---13<p align="left">14 <a href="https://jle.hse.ru/article/view/22224"><b>Paper Link</b>👁️</a>15 <br>16 <a href="https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Instruct-GGUF"><b>GGUF</b>🚀</a>17</p>18<hr>19 20# RU21## Описание модели22 23**Ruadapt** версия **инструктивной** модели **Qwen/Qwen3-4B-Instruct-2507**. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника **LEP (Learned Embedding Propagation)**.24 25Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла **до 100%** (в зависимости от длины контекста) по сравнению с исходной моделью.26 27**Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.*28 29## Важно30 31**Веса модели могут обновляться** по мере получения новых версий. Информацию о версиях будет в самом конце README, там же фиксируются **даты** и **коммиты** версий, чтобы всегда можно было использовать предыдущие варианты при необходимости.32 33Ответы модели не отражают мнения авторов, а лишь повторяют знания полученные из данных на всех этапах обучения (предобучение, смена токенизатора, обучение на инструкциях, калибровка качества ответов). Модель была получена из сторонней предобученной модели, **контроль за предобучением** которой **не является ответственностью текущих авторов**. При создании данной версии модели не производилось никаких дополнительных действий, направленных на изменение заложенных в LLM "мнений". Используйте с осторожностью.34 35 36## Рекомендуемые параметры генерации37Для более стабильной работы рекомендуется использовать низкие температуры 0.0-0.3, top_p в диапазоне от 0.85 до 0.95 и repetition_penalty 1.05 (зависит от задач, но если уходит в циклы, то пробуйте поднять repetition_penalty. В случае же RAG, возможно наоборот снизить до 1.0).38 39## Метрики40 41 42# EN43 44## Model Description45 46**Ruadapt** version of **Qwen/Qwen3-4B-Instruct-2507**. 47In this model the tokenizer was replaced, followed by continued pre-training on a Russian-language corpus, after which the **LEP (Learned Embedding Propagation)** technique was applied.48 49Thanks to the new tokenizer (an extended tiktoken cl100k, augmented with a 48 k russian tokens), the generation speed* of Russian-language texts has increased **by up to 100 %** (depending on context length) compared with the original model.50 51*Generation speed is understood as the number of Russian characters/words produced per second on identical text sequences.*52## Important53 54The model may be updated as new versions become available. Version information is provided at the very end of the README, where **dates** and **commits** are logged so that previous versions can always be used if necessary.55 56The model’s answers do not reflect the authors’ opinions; they merely reproduce the knowledge obtained from data at all training stages (pre-training, tokenizer replacement, instruction tuning, answer-quality calibration). The model is based on a third-party pretrained model, and **the current authors are not responsible for its initial pre-training**. No additional actions were taken to modify the “opinions” embedded in the LLM while creating this version. Use with caution.57 58<hr> 59 60# Other61 62## Tokenization63 6465 6667 68## Versions69 70v1:71- [03bcd55e56b02175bcc863c4761613b1bda8302b](https://huggingface.co/RefalMachine/RuadaptQwen3-4B-Instruct/commit/03bcd55e56b02175bcc863c4761613b1bda8302b)72- Внутреннее имя/Alias: RuadaptQwen3-4B-Instruct-v1 (new, 2507)73- Дата/Date: 26.08.202574 75 76## How to cite:77 78Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.79