CoolFace
Modelpublic

Brunobkr/OFFELLIA_Gemma-4-E4B-8b-Claude-4.6-Opus-Reasoning-MTP

sourceHugging Faceotherupdated 3mo agoView on Hugging Face
2likes699downloads
Model Card

<p align="center"> <img src="capa.png" alt="ΩFFΣLLIα" width="100%"/> </p>

ΩFFΣLLIα — Quantização GGUF Zetahelicoidal

Modelo convertido para o formato GGUF com a quantização ΩFFΣLLIα / Zetahelicoidal, desenvolvida e aplicada sobre o pipeline de quantização do llama.cpp. Compatível com llama.cpp, llama-server, Ollama, LM Studio, KoboldCpp, text-generation-webui e demais ferramentas que suportam GGUF.

Este é um derivado quantizado. Todos os créditos dos pesos e da arquitetura original conforme o modelo-base e a quantização específica deste repositório: https://huggingface.co/nassimjp/Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled

/home/llama.cpp090726/build/bin/llama-server \ -m "/home/GEMMA48bF16Claude/ΩFFΣLLIαQ5KGemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled.gguf" \ -md "/home/ΩFFΣLLIαf16gemma-4-E4B-8b-it-qat-q40-unquantized-assistant.gguf" \ -c 50000 \ -np 1 \ -ngl 42 --n-cpu-moe 42 -fa 1 \ --spec-type draft-mtp --spec-draft-n-max 4 --spec-draft-n-min 1 --spec-draft-p-min 0.75 \ --dry-multiplier 0.8 --dry-base 1.75 --dry-allowed-length 2 \ --agent \ --tools all \ --reasoning auto \ --flash-attn on \ --swa-full \ --kv-unified \ --port 5173 \ --host 127.0.0.1 \ --webui-mcp-proxy \ --threads-http -1

迫於無奈，我們只好發揮創意。 ---

https://huggingface.co/Brunobkr

https://huggingface.co/datasets/Brunobkr/OFFELLIAKernelllama-server

📌 Visão geral

ItemValor
VarianteΩFFΣLLIα / Zetahelicoidal
FormatoGGUF
Quantização (ΩFFΣLLIα)Brunobkr
AbliteraçãoHeretic (AGPL-3.0)

🧬 Quantização Zetahelicoidal (ΩFFΣLLIα)

A ΩFFΣLLIα / Zetahelicoidal é uma variante de quantização para GGUF que atua como uma camada de pré-condicionamento determinística e reversível, aplicada bloco a bloco antes da quantização padrão do GGML/llama.cpp e desfeita na dequantização. Ela não substitui os formatos nativos (Q4K, Q80, IQ4XS, IQ4NL, MXFP4_MOE, etc.) — opera sobre eles, mantendo compatibilidade total com qualquer runtime que carregue GGUF.

Por ser determinística e reversível, os pesos efetivos durante a inferência correspondem aos do modelo base submetidos ao formato de quantização escolhido.

🚀 Uso rápido com llama.cpp

bash
# CLI
llama-cli -m <NOME_DO_ARQUIVO>.gguf \
  -p "Escreva um haiku sobre GPUs" \
  -c 8192 -ngl 99

# Servidor (API compatível com OpenAI)
llama-server -m <NOME_DO_ARQUIVO>.gguf \
  -c 8192 -ngl 99 --port 8080

Exemplo de chamada à API do llama-server:

bash
curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Olá!"}],"stream":false}'

Download

bash
huggingface-cli download Brunobkr/<seu-repo> \
  <NOME_DO_ARQUIVO>.gguf \
  --local-dir ./models

Outras ferramentas

  • —Ollama: ollama create <nome> -f Modelfile apontando FROM ./<NOME_DO_ARQUIVO>.gguf
  • —LM Studio / KoboldCpp / text-generation-webui: carregue o .gguf diretamente pela interface.

🎯 Casos de uso

Geração e edição de texto, chat e IA conversacional, sumarização, assistentes de código e fluxos agênticos — conforme as capacidades do modelo base escolhido.

##CARD genérico se modelo heretic ou relativo:

🔓 Heretic — Abliteração e licença (AGPL-3.0)

Uso responsável: por se tratar de um modelo com alinhamento de segurança modificado, o usuário é o único responsável pelo uso, em conformidade com a licença do modelo base e a legislação aplicável.

⚠️ Notas e limitações

  • —Trata-se de um derivado quantizado; os pesos efetivos na inferência correspondem aos do modelo base submetidos ao formato de quant escolhido.
  • —O alinhamento de segurança foi removido via Heretic — avalie o comportamento no seu caso de uso.
  • —Os parâmetros de geração (temperatura, topp, topk, template de chat, tokens especiais) seguem as recomendações do modelo base — consulte o card original.
  • —Avalie empiricamente perplexidade/qualidade do GGUF resultante no seu fluxo de trabalho.

📚 Referências

  • —Modelo base: https://huggingface.co/<org/modelo-base>
  • —Heretic (abliteração): https://github.com/p-e-w/heretic
  • —llama.cpp (GGUF): https://github.com/ggml-org/llama.cpp
  • —Formato GGUF: https://huggingface.co/docs/hub/gguf
  • —ΩFFΣLLIα (Hugging Face): https://huggingface.co/Brunobkr
  • —Depósito de pesquisa (Zenodo): https://doi.org/10.5281/zenodo.20026837

✍️ Citação

bibtex
@misc{becker_offsellia_zetahelicoidal,
  title        = {ΩFFΣLLIα: Zetahelicoidal quantization layer for GGUF / llama.cpp},
  year         = {2026},
  howpublished = {Hugging Face},
  note         = {Determinístic, reversible per-block pre-conditioning kernel},
  url          = {https://huggingface.co/Brunobkr}
}