slavalovesfoxes/kontur-gemma-3-1b-it-countdown-dpo

Kontur Gemma-3-1B-it Countdown DPO Adapter

Этот репозиторий содержит финальный DPO-adapter для student-модели Gemma-3-1B-it, обученной на задаче Countdown task в рамках тестового задания по дистилляции LLM для Контура.

В решении использован комбинированный многоэтапный подход к дистилляции с разными токенизаторами: Учитель: Qwen3-8B Ученик: Gemma-3-1B-it

Для использования необходимо отдельно загрузить базовую модель:

• —Base model: google/gemma-3-1b-it
• —Adapter: slavalovesfoxes/kontur-gemma-3-1b-it-countdown-dpo

LoRA-конфигурация:

• —task type: CAUSAL_LM
• —rank r: 8
• —alpha: 16
• —dropout: 0.05
• —bias: none
• —target modules:
• —q_proj
• —k_proj
• —v_proj
• —o_proj
• —gate_proj
• —up_proj
• —down_proj

Загрузка адаптера поверх модели:

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_id = "google/gemma-3-1b-it"
adapter_id = "slavalovesfoxes/kontur-gemma-3-1b-it-countdown-dpo"

tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(base_model_id)
model = PeftModel.from_pretrained(base_model, adapter_id)