Modelpublic

Yosha/gemma-4-yakut-gguf

sourceHugging Facegemmaupdated 6mo agoView on Hugging Face

1likes33downloads

Model Card

Gemma 4 E4B (Yakut/Sakha) — GGUF (Q4KM) + mmproj

Yakut (Sakha) adaptation of Gemma 4 E4B IT exported to GGUF for llama.cpp-based runtimes (desktop/mobile).

This repo contains:

—`merged_model.Q4_K_M.gguf` — the quantized language model (text/chat).
—`merged_model.F16-mmproj.gguf` — the multimodal projector (mmproj) required for image inputs.

If you only need text generation/chat, you typically use only the Q4_K_M.gguf file. For image+text (VLM) inference, you need both files.

What’s inside (training summary)

—Base model: unsloth/gemma-4-e4b-it
—Method: LoRA fine-tuning (adapters were trained, then merged into base weights)
—Language focus: Sakha (Yakut) (with some RU possible depending on prompts/data)
—Training run: 500 steps
—Loss: 87.7 → 6.7 (training loss trend during the run)
—Training data: cleaned synthetic Yakut dialogue dataset (121,651 dialogues)

Files

—merged_model.Q4_K_M.gguf Quantization: Q4_K_M (good quality/size tradeoff for mobile).

—merged_model.F16-mmproj.gguf F16 mmproj file for Gemma4 multimodal pipeline (used with --mmproj).

How to run (llama.cpp)

Text-only chat

bash

./llama-cli -m merged_model.Q4_K_M.gguf \
  -p "Дорообо! Сахалыы тылынан кэпсээ." \
  -n 200 --temp 1.0 --top-p 0.95 --top-k 64

---
license: gemma
language:
  - sah
  - ru
base_model:
  - unsloth/gemma-4-E4B-it
datasets:
  - Yosha/yakut-dialogs
pipeline_tag: text-generation
library_name: gguf
tags:
  - gemma4
  - yakut
  - sakha
  - sah
  - lora
  - gguf
  - q4_k_m
  - unsloth
  - multimodal
  - low-resource-language
---

# 🦣 Gemma 4 E4B — Якутская версия (GGUF)

Первая публичная языковая модель на якутском языке (саха тыла),
дообученная на базе Google Gemma 4 E4B.

## 📖 Описание

Модель создана методом дообучения (LoRA fine-tuning) базовой модели
`unsloth/gemma-4-E4B-it` на якутском языке. Обучение проводилось
на датасете из 121 651 диалога на якутском языке.

**Автор:** Yosha (Alexey)  
**Дата:** Апрель 2026  
**Метод обучения:** LoRA (Low-Rank Adaptation) через Unsloth  
**Платформа:** Kaggle (GPU Tesla T4 x2)

## 📊 Результаты обучения

| Параметр | Значение |
|----------|----------|
| Шагов обучения | 500 |
| Loss (начало) | 87.7 |
| Loss (конец) | 6.7 |
| Датасет синтетический | 121 651 диалогов |
| Язык датасета | Якутский (саха) |

## 📁 Файлы

| Файл | Размер | Описание |
|------|--------|----------|
| `merged_model.Q4_K_M.gguf` | 5.34 GB | Основная модель (4-bit квантизация) |
| `merged_model.F16-mmproj.gguf` | 0.99 GB | Визуальный модуль (для работы с картинками) |

> ⚠️ Для полной работы модели нужны **оба файла**.

## 🚀 Быстрый старт

### На компьютере (llama.cpp)

Только текст

./llama-cli \ -m mergedmodel.Q4K_M.gguf \ -p "Дорообо! Сахалыы тылынан кэпсээ." \ -n 200

С картинками (мультимодальный режим)

./llama-mtmd-cli \ -m mergedmodel.Q4KM.gguf \ --mmproj mergedmodel.F16-mmproj.gguf \ --image photo.jpg \ -p "Бу хартыынаҕа тугу көрөҕүн?"