CoolFace
Modelpublic

srs6901/Vikras-1-to-3b-collection

sourceHugging Faceupdated 7mo agoView on Hugging Face
1likes76downloads
Model Card

Vikras — Experimental Family of Language Models

EN below

Содержание

Коротко о проекте

Vikra — экспериментальное семейство языковых моделей, исследующее влияние:

  • —геометрии представлений
  • —квантования
  • —гибридных мерджей

на численную динамику трансформеров.

Проект Vikras не ограничивается одной базой или одной архитектурой: это семейство моделей, объединённых идеей численной инвариантности эксперимента.

  • —Vikra_% — имя конкретной модели
  • —Vikras — семейство экспериментов
  • —S / M / L — степень агрессивности и распределения битности
  • —MixP / FullP / HCT — схемы и инварианты квантования/мерджей

Что это за репозиторий

Это витрина моделей Vikras в диапазоне 1–3B. Здесь лежат только компактные релизы, которые можно относительно легко запускать локально.

Сноска на основной репозиторий (лаборатория/склад):

  • —https://huggingface.co/srs6901/Vikras-MixP

В основном репозитории релизы и эксперименты появляются быстрее, там же полный каталог (включая более крупные модели).

Текущий релиз: HCT/YeAM (1-3B)

Релизы

  • —Vikra-HCT-YeAM-LLaGemma-1B
  • —Что с чем: Llama-3.2-1B-Instruct + Gemma-3-1b-pt
  • —HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-LLaGemma-1B
  • —GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-LLaGemma-1B-Q8_0.gguf
  • —Vikra-HCT-YeAM-PhiMma-1B
  • —Что с чем: Gemma-3-1b-pt + Microsoft Phi-2
  • —HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-PhiMma-1B
  • —GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-PhiMma-1B-Q8_0.gguf
  • —Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B
  • —Что с чем: Llama-3.2-1B-Instruct + Qwen3-1.7B (HCT/YeAM-производный релиз)
  • —HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-33.2QweLLa-1.7B
  • —GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-33.2QweLLa-1.7BQ8K.gguf

HCT (архитектура) / YeAM (инвариант реализации)

HCT — архитектурный инвариант: практический способ собирать совместимые модели и производные релизы при переносе между базами/семействами.

YeAM (Yet Another Merge) — инвариант реализации HCT и самостоятельная схема мерджа HF→HF: это не «ещё один SLERP/DARE/TILES» и не косметическая вариация усреднения. YeAM выдаёт стандартный HF-результат (safetensors + index) и поддерживает:

  • —прямой weight-to-weight мердж
  • —направленное добавление знаний в выбранную модель (knowledge distillation / knowledge injection), согласованное по нескольким источникам
  • —дополнительный мердж Attention-слоёв как отдельную технику поверх YeAM
  • —мердж меньших моделей в более крупные (scale-up merge) при сохранении совместимого HF-формата Математически YeAM работает в реальной 4D-постановке: обновления кодируются геометрически и согласуются через пересечения лучей в пространстве параметров. Это даёт управляемый мердж с сохранением структуры и без вырождения в наивное усреднение.

Vikras — Experimental Family of Language Models (EN)

Table of Contents

Project overview

Vikra is an experimental family of language models exploring how:

  • —representation geometry
  • —quantization
  • —hybrid merges

affect transformer numerical dynamics.

The Vikras project is not tied to a single base model or architecture. It is a family of models unified by a numerical invariance philosophy of experimentation.

  • —Vikra_% — a specific model
  • —Vikras — the experimental family
  • —S / M / L — aggressiveness and bit allocation variants
  • —MixP / FullP / HCT — quantization / merge invariants

What this repository is

This is a curated 1–3B showcase for the Vikras family. Only compact releases are mirrored here.

Footnote / main repository (lab + full catalog):

  • —https://huggingface.co/srs6901/Vikras-MixP

The main repository is updated faster and contains the complete set of experiments (including larger models).

Current Release: HCT/YeAM (1-3B)

Releases

  • —Vikra-HCT-YeAM-LLaGemma-1B
  • —Merge recipe: Llama-3.2-1B-Instruct + Gemma-3-1b-pt
  • —HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-LLaGemma-1B
  • —GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-LLaGemma-1B-Q8_0.gguf
  • —Vikra-HCT-YeAM-PhiMma-1B
  • —Merge recipe: Gemma-3-1b-pt + Microsoft Phi-2
  • —HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-PhiMma-1B
  • —GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-PhiMma-1B-Q8_0.gguf
  • —Vikra-HCT-YeAM-3_3.2_QweLLa-1.7B
  • —Merge recipe: Llama-3.2-1B-Instruct + Qwen3-1.7B (HCT/YeAM-derived release)
  • —HF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/tree/main/Vikra-HCT-YeAM-33.2QweLLa-1.7B
  • —GGUF: https://huggingface.co/srs6901/Vikras-1-to-3b-collection/blob/main/Vikra-HCT-YeAM-33.2QweLLa-1.7BQ8K.gguf

HCT (architecture) / YeAM (implementation invariant)

HCT is an architectural invariant — a practical way to assemble compatible checkpoints and derived releases while moving across bases / model families. YeAM (Yet Another Merge) is an implementation invariant of HCT and a standalone HF→HF merge scheme: it is not “just another SLERP/DARE/TILES” and not a cosmetic variant of averaging.

YeAM produces a standard HF output (safetensors + index) and supports:

  • —direct weight-to-weight merging
  • —targeted knowledge injection into a chosen model (knowledge distillation mode), aligned across multiple sources
  • —an additional Attention-layer merge as a second technique on top of YeAM
  • —merging smaller models into larger ones (scale-up merge) while keeping a compatible HF format YeAM operates in a real 4D formulation: updates are encoded geometrically and aligned via ray intersections in parameter space. This produces controlled merges that preserve structure instead of collapsing into naive averaging.