Nikolay1/marina-kolyas-lora

Marina — LoRA адаптер для MN-12B-Runeweaver-RP-RU

Этот LoRA-адаптер дообучает базовую русскоязычную модель MN-12B-Runeweaver-RP-RU манере общения, стилю и лексике, характерным для чата велосипедистов-фиксеров.

🎯 Что делает эта модель

• —Использует вело-сленг: «фикс», «локринг», «ХВЗ», «цунами», «тарантас».
• —Отвечает коротко, дерзко, с юмором.
• —Держит характер «цундэрэ».

🔗 Связанные проекты

• —waifubot — Telegram-бот, который использует эту модель

💬 Пример работы

Вот как Марина общается в реальном Telegram-чате:

⚠️ Ограничения

• —Может зацикливаться на некоторых фразах.
• —Иногда выдумывает факты о собеседнике.
• —Не рекомендуется для официального общения.
• —

🛠️ Как обучалось

• —База: MN-12B-Runeweaver-RP-RU (Mistral Nemo 12B).
• —Метод: LoRA (rank 8, 8 layers).
• —Датасет: ~742 пары «реплика → ответ» из Telegram-чата.
• —Обучение: MLX LoRA на MacBook Air M1.
• —Конвертация: llama.cpp (GGUF).

🛠️ Как использовать

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "limloop/MN-12B-Runeweaver-RP-RU"
adapter = "Nikolay1/marina-kolyas-lora"

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype="auto")
model = PeftModel.from_pretrained(model, adapter)