CoolFace
Modelpublic

necrasov-ilya/AliceAI-T5-35B-A0.6B-MPS-ExpertInt8

sourceHugging Faceapache-2.0updated 15d agoView on Hugging Face
3likes84downloads
Model Card

AliceAI-T5-35B-A0.6B MPS ExpertInt8

Смешанная контрольная точка int8/BF16 модели yandex/AliceAI-T5-35B-A0.6B для локального запуска на Mac с Apple Silicon.

Модель не дообучалась и не адаптировалась под отдельную задачу. Изменён только формат хранения экспертных матриц и путь их выполнения на MPS.

Формат

  • —матрицы w1, v1 и w2 каждого маршрутизируемого эксперта квантизированы симметрично до int8
  • —для каждой выходной строки хранится отдельный масштаб float32
  • —остальные параметры сохранены в исходном типе
  • —контрольная точка состоит из 15 частей Safetensors
  • —общий объём тензорных данных составляет 35 389 069 312 байт
  • —для каждого токена вычисляются 8 выбранных экспертов из 512
  • —исходная ревизия модели: a0d71f58c40d6affe461797b30b35ff47f52a5f2

Квантизация экспертных матриц уменьшает размер исходных весов примерно вдвое. Остальные части модели не квантизированы.

Требования

Запуск проверен на Mac с Apple Silicon и 64 ГБ объединённой памяти. Конфигурации с меньшим объёмом памяти не проверялись.

Рекомендуемое окружение:

  • —Python 3.12
  • —PyTorch 2.10.0
  • —Transformers 5.14.1
  • —Accelerate 1.14.0
  • —Safetensors 0.8.0 или новее

Загрузка и запуск

bash
hf download \
  necrasov-ilya/AliceAI-T5-35B-A0.6B-MPS-ExpertInt8 \
  --local-dir AliceAI-T5-35B-A0.6B-MPS-ExpertInt8

cd AliceAI-T5-35B-A0.6B-MPS-ExpertInt8
uv venv --python 3.12 .venv
uv pip install --python .venv/bin/python -r requirements.txt

.venv/bin/python -m alice_extractor.cli \
  --model-dir . \
  --weights-dir . \
  "Кто написал роман Война и мир?"

После загрузки целостность весов можно проверить командой:

bash
shasum -a 256 -c SHA256SUMS

Совместимость

Контрольная точка использует формат alice-extractor-mixed-int8-bf16-v1. Стандартный вызов AutoModelForSeq2SeqLM.from_pretrained() не загружает экспертные матрицы этого формата. Требуется исполняемый путь MPS, который создаёт параметры int8, загружает 15 частей и вычисляет только выбранных маршрутизатором экспертов.

Ограничения

  • —запуск проверен только на MPS
  • —контрольная точка предназначена только для вывода
  • —ответы могут отличаться от исходной версии BF16 из-за квантизации
  • —качество на прикладных задачах отдельно не оценивалось
  • —возможности и ограничения исходной AliceAI-T5 сохраняются

Лицензия

Код и материалы AliceAI-T5 принадлежат YANDEX LLC, 2026, и распространяются по Apache License 2.0 вместе с уведомлениями Yandex. Эта производная контрольная точка подготовлена независимо и не связана с Yandex.