CoolFace
Apppublic

kiracromo35/BITNET_B

sourceHugging Faceupdated 2mo agoView on Hugging Face
0likes
App README

Omni-Nexus · Worker de chat

Llama 3.2 3B (Q4KM) servido con API compatible con OpenAI.

Usa los binarios oficiales precompilados de llama.cpp: build de 3-5 min, sin compilar C++.

Por qué ya no se usa BitNet

bitnet.cpp no incluye servidor HTTP — su submódulo solo compila llama-cli. El target llama-server no existe. Y setup_env.py agota la RAM del builder de HF al convertir el modelo. No es parcheable.

Uso

Odysseus → Settings → Add Local Models (Endpoint):

https://TU-USUARIO-ESTE-SPACE.hf.space/v1

Variables

VariableValor
WORKER_IDA
CHAT_TEMPLATEllama3