rsyrlybay/qwen2.5-3b-sxodim-almaty
05
license: apache-2.0 language:
- ru base_model: Qwen/Qwen2.5-3B tags:
- almaty
- events
- qlora
- orpo
- fine-tuned
- text-generation
- assistant pipeline_tag: text-generation ---
Qwen2.5-3B Мероприятия Алматы 🎭
Модель fine-tuned на данных о мероприятиях Алматы (sxodim.com) с использованием QLoRA + ORPO.
Использование
from transformers import AutoModelForCausalLM, AutoTokenizer
model =
AutoModelForCausalLM.from_pretrained("rsyrlybay/qwen2.5-3b-shodim-almaty")
tokenizer = AutoTokenizer.from_pretrained("rsyrlybay/qwen2.5-3b-shodim-almaty")
messages = [
{"role": "system", "content": "Ты — дружелюбный помощник по мероприятиям в
Алматы."},
{"role": "user", "content": "Куда сходить на выходных в Алматы?"}
]
text = tokenizer.apply_chat_template(messages, tokenize=False,
add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=300)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Детали обучения
┌──────────────┬─────────────────────┐
│ Параметр │ Значение │
├──────────────┼─────────────────────┤
│ Base model │ Qwen2.5-3B │
├──────────────┼─────────────────────┤
│ Method │ QLoRA + ORPO │
├──────────────┼─────────────────────┤
│ LoRA r │ 32 │
├──────────────┼─────────────────────┤
│ LoRA alpha │ 64 │
├──────────────┼─────────────────────┤
│ SFT Dataset │ 1443 Q&A пар │
├──────────────┼─────────────────────┤
│ ORPO Dataset │ ~500 preference пар │
├──────────────┼─────────────────────┤
│ Epochs │ 3 │
└──────────────┴─────────────────────┘
Источник данных
Данные собраны с https://sxodim.com — 104 мероприятия в Алматы:
- Концерты и стендапы
- Спектакли и мюзиклы
- Выставки и фестивали
- Детские мероприятия
Примеры вопросов
- Какие концерты будут в эти выходные?
- Где можно посмотреть стендап в Алматы?
- Посоветуй куда сходить с детьми
- Сколько стоят билеты на мюзикл?
- Что интересного в Punch Stand Up Club?
Особенности
- Дружелюбный стиль — отвечает как друг, а не как робот
- Актуальная информация — адреса, цены, даты мероприятий
- ORPO обучение — предпочитает живые ответы формальным