betmyex/Amistral-3101-a

Amistral-3101-a

Amistral-3101-a — это версия Mistral-7B-Instruct-v0.3, дообученная на русском языке с помощью LoRA (PEFT) для логических задач и точных ответов, без потери базового качества модели.

🧠 Назначение

• —Решение русских логических и фактчекинг задач.
• —Сохраняет базовую логику Mistral-7B, при этом адаптирована к специфике русского языка.
• —В будущем планируется human-like адаптация через online training для естественных и живых диалогов.

⚙️ Особенности

• —Датасет был отфильтрован с упором на задачу.
• —LoRA дообучение (~88k примеров, 2 эпохи) не разрушает базовые знания.
• —Контекст до 8192 токенов.
• —Возможность дальнейшей стилизации ответов без оверфита.

📦 Параметры модели

• —Параметры: 7 261 655 040
• —PEFT / LoRA: r=32, alpha=64, dropout=0.1, targetmodules=["qproj","v_proj"]
• —Датасет: GrandMaster-PRO-MAX

⚡ Использование

from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
import torch

model_path = "betmyex/Amistral-3101-a"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
model.eval()

chat = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

messages = [{"role": "user", "content": "Каких легенд русского репа ты знаешь?"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

res = chat(prompt, max_new_tokens=1000, do_sample=True, temperature=0.1, top_p=0.9)
print(res[0]["generated_text"])