loushek5/Qwen3.5-2B-HaloQ-Q5_0-GGUF

Qwen3.5-2B-HaloQ-Q5_0-GGUF

HaloQ-сборка модели Qwen3.5-2B в формате GGUF.

Модель предназначена для локального запуска на компьютере через LM Studio, llama.cpp, Local Forge и другие приложения с поддержкой GGUF.

Модель сжата в ~3 раза, но сохраняет 99.14% качества от fp16

Характеристики

• —Исходная модель: Qwen/Qwen3.5-2B
• —Формат: GGUF
• —Квантование: Q5_0
• —Сборка: HaloQ
• —Размер модели: около 2 миллиардов параметров
• —Архитектура: Qwen3.5
• —Рекомендуемый контекст: 4096 токенов
• —Поддерживаемые языки: русский и английский

Запуск в LM Studio

1. 1.Скачайте файл .gguf.
2. 2.Добавьте его в LM Studio.
3. 3.Загрузите модель в память.
4. 4.Используйте шаблон чата Qwen3.5.
5. 5.Для быстрых ответов отключите Thinking.
6. 6.Для сложных задач включите Thinking.

Пример запроса:

Привет! Ответь по-русски одним коротким предложением: сколько будет 2 + 2?