CoolFace
Modelpublic

Xalk07/KSTU_T-lite-2.1-GGUF

sourceHugging Faceapache-2.0updated 24d agoView on Hugging Face
0likes525downloads
Model Card

Русский | English

Русский

В этом репозитории содержится KSTUT-lite-2.1, сконвертированная в GGUF формат с помощью llama.cpp. Оригинальная модель тут: [Xalk07/KSTUT-lite-2.1](https://huggingface.co/Xalk07/KSTU_T-lite-2.1)

KSTU_T-lite-2.1 - это дообученная модель на основе T-lite-it-2.1 от Т-банка. Предназначена для помощи в поиске и выдаче информации об университетском комплексе КГТУ, Россия. В университетский комплекс входит четыре образовательных организации: Калининградский Государственный Технический Университет (КГТУ), Балтийская Государственная Академия Рыбопромыслового Флота (БГАРФ), Калининградский Морской Рыбопромышленный Колледж (КМРК) и Санкт-Петербургский Морской Рыбопромышленный Колледж (СПбМРК).

Модель обучалась в 2 этапа: дополнение предложения (2 эпохи) и обучения инструкциям (3 эпохи). И знает о событиях до второй половины 2025 года.

Метрики:

Метрики1 этап (2 эпохи)2 этап (3 эпохи)
ROUGE-10,04060,0602
ROUGE-20,00370,0238
ROUGE-L0,03430,0596
PRECISION0,13140,1798
RECALL0,13720,2138
F10,12030,1774

Сравнение с другим проектом от Донецкого Государственного университета:

МетрикиKSTU_T-lite-2.1<br>5 эпохАссистент Донецкого Государственного университета<br>LLaMA-3.1-8b<br>25 эпох
ROUGE-10,06020,1331
ROUGE-20,02380,0721
ROUGE-L0,05960,1320
PRECISION0,1798-
RECALL0,2138-
F10,1774-

Использование: Вы можете использовать квантизированные варианты, оригинальную модель или интерактивное пространство.

❗Квантизированные варианты вы можете легко запустить через LM Studio или другие подобные программы. Для взаимодействия с моделью, достаточно скачать только 1 файл. Больше по размеру - лучше. Но выбирайте изходя из своих аппаратных возможностей.

ФОРМАТРАЗМЕРФАЙЛ
BF1615.26 GBmodel-KSTU_T-lite-2.1-bf16.gguf
Q8_08.11 GBmodel-KSTUT-lite-2.1-Q80.gguf
Q6_K6.26 GBmodel-KSTUT-lite-2.1-Q6K.gguf
Q5KM5.45 GBmodel-KSTUT-lite-2.1-Q5K_M.gguf
Q5KS5.33 GBmodel-KSTUT-lite-2.1-Q5K_S.gguf
Q4KM4.68 GBmodel-KSTUT-lite-2.1-Q4K_M.gguf
Q4KS4.47 GBmodel-KSTUT-lite-2.1-Q4K_S.gguf
Q3KL4.13 GBmodel-KSTUT-lite-2.1-Q3K_L.gguf
Q3KM3.84 GBmodel-KSTUT-lite-2.1-Q3K_M.gguf
Q3KS3.51 GBmodel-KSTUT-lite-2.1-Q3K_S.gguf
Q2_K3.06 GBmodel-KSTUT-lite-2.1-Q2K.gguf

Для более точных ответов используйте RAG и/или вызов инструментов.

Подробнее о модели можно будет узнать на конференциях и в статьях. (Будут добавляться в описание карточки)

English

This repository contains KSTUT-lite-2.1, converted to GGUF format using llama.cpp. The original model is here: [Xalk07/KSTUT-lite-2.1](https://huggingface.co/Xalk07/KSTU_T-lite-2.1)

KSTU_T-lite-2.1 is a model fine-tuned from T-lite-it-2.1 by T-Bank. It is designed to assist in retrieving and providing information about the KSTU university complex in Russia. The university complex comprises four educational institutions: Kaliningrad State Technical University (KSTU), the Baltic Fishing Fleet State Academy (BFFSA), the Kaliningrad Marine Fishing College (KMFC), and the St. Petersburg Marine Fishing College (SPMFC).

The model was trained in two stages: sentence completion (2 epochs) and instruction tuning (3 epochs). And it knows about events up to the second half of 2025.

Metrics:

MetricsStage 1 (2 epochs)Stage 2 (3 epochs)
ROUGE-10.04060.0602
ROUGE-20.00370.0238
ROUGE-L0.03430.0596
PRECISION0.13140.1798
RECALL0.13720.2138
F10.12030.1774

Comparison with another project from Donetsk State University:

MetricsKSTU_T-lite-2.1<br>5 epochsDonetsk State University Assistant<br>LLaMA-3.1-8b<br>25 epochs
ROUGE-10.06020.1331
ROUGE-20.02380.0721
ROUGE-L0.05960.1320
PRECISION0.1798-
RECALL0.2138-
F10.1774-

Usage: You can use quantized versions, the original model, or an interactive space.

❗You can easily run quantized versions using LM Studio or similar programs. To interact with the model, you only need to download a single file. Larger files generally offer better performance, but you should make your choice based on your hardware capabilities.

FORMATSIZEFILE
BF1615.26 GBmodel-KSTU_T-lite-2.1-bf16.gguf
Q8_08.11 GBmodel-KSTUT-lite-2.1-Q80.gguf
Q6_K6.26 GBmodel-KSTUT-lite-2.1-Q6K.gguf
Q5KM5.45 GBmodel-KSTUT-lite-2.1-Q5K_M.gguf
Q5KS5.33 GBmodel-KSTUT-lite-2.1-Q5K_S.gguf
Q4KM4.68 GBmodel-KSTUT-lite-2.1-Q4K_M.gguf
Q4KS4.47 GBmodel-KSTUT-lite-2.1-Q4K_S.gguf
Q3KL4.13 GBmodel-KSTUT-lite-2.1-Q3K_L.gguf
Q3KM3.84 GBmodel-KSTUT-lite-2.1-Q3K_M.gguf
Q3KS3.51 GBmodel-KSTUT-lite-2.1-Q3K_S.gguf
Q2_K3.06 GBmodel-KSTUT-lite-2.1-Q2K.gguf

For more accurate answers, use RAG and/or tool calling.

More information about the model will be available at conferences and in articles. (These will be added to the card description.)