Toondra/Clornet-150m
093
Clornet 150M
Clornet - это предварительно обученная Decoder-only языковая модель объемом 150 миллионов параметров, построенная на базе классической архитектуры Llama и оптимизированная для генерации и обработки русскоязычного текста.
Модель была обучена с нуля на отфильтрованном русскоязычном корпусе данных и демонстрирует стабильную сходимость с итоговым показателем перплексии 22.59.
Основные характеристики
Инференс
Для запуска модели рекомендуется использовать библиотеку transformers. Пример кода для инференса на Python:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_name = "Toondra/Clornet-150m"
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
prompt = "В глубоком лесу росло странное дерево, которое"
inputs = tokenizer(prompt, return_tensors="pt").to(device)
with torch.no_grad():
outputs = model.generate(
**inputs,
max_new_tokens=64,
do_sample=True,
top_k=20,
top_p=0.8,
temperature=0.4,
repetition_penalty=1.15
)
# Срезаем промпт, чтобы не дублировать его на выводе
generated_ids = outputs[0][inputs.input_ids.shape[-1]:]
generated_text = tokenizer.decode(generated_ids, skip_special_tokens=True)
print("Результат генерации:")
print(generated_text)