CoolFace
Modelpublic

Thaurock/Qwen3.5-122B-A10B-abliterated-GGUF

sourceHugging Faceapache-2.0updated 3h agoView on Hugging Face
1likes935downloads
Model Card

Qwen3.5-122B-A10B-abliterated - GGUF

Esta es la colección definitiva y completa de cuantizaciones en formato GGUF del modelo Qwen3.5-122B-A10B-abliterated, preparadas localmente para su uso con llama.cpp, Ollama, LM Studio o Text-Generation-WebUI.

El modelo base de 122 mil millones de parámetros (arquitectura MoE) ha sido procesado por su autor original mediante el framework Abliterix, logrando desmantelar los mecanismos internos de alineación y rechazo de seguridad artificiales (tasa de rechazo estimada de solo 0.5%). El modelo conserva intactas sus masivas habilidades de razonamiento lógico, codificación y comprensión contextual, respondiendo sin restricciones.

📦 Archivos Disponibles y Recomendaciones de Hardware

A diferencia de los repositorios convencionales que omiten formatos o fragmentan los datos, esta colección incluye todas las variantes integras y en archivos únicos para facilitar una descarga directa.

ArchivoTamaño Est.BPW (Bits por Peso)Perfil de Uso Recomendado
`Qwen3.5-122B-A10B-abliterated-F16.gguf`~244.3 GB16.00Fidelidad Absoluta. El molde original consolidado. Solo apto para infraestructuras con múltiples GPUs empresariales o clusters en la nube.
`Qwen3.5-122B-A10B-abliterated-Q8_0.gguf`~129.9 GB8.50Máxima Precisión Local. Calidad indistinguible de los 16 bits. Recomendado para entornos con tarjetas de gran VRAM.
`Qwen3.5-122B-A10B-abliterated-Q6_K.gguf`~100.3 GB6.59Alta Fidelidad. El mejor balance para setups de entusiastas extremos que buscan conservar la lógica MoE nativa sin el peso masivo del Q8.
`Qwen3.5-122B-A10B-abliterated-Q5_K_M.gguf`~86.9 GB5.69El Punto Dulce (Recomendado). Cuantización mixta optimizada. Retiene prácticamente el 99% de las métricas lógicas del modelo base.
`Qwen3.5-122B-A10B-abliterated-Q5_K_S.gguf`~84.2 GB5.54Variante de 5 bits ligeramente más ajustada, ideal para optimizar los límites de VRAM en configuraciones multi-GPU.
`Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf`~74.2 GB4.85La más Buscada. Excelente balance para correr este coloso de 122B en estaciones de trabajo locales combinando RAM y VRAM. (ej. setups avanzados con Nvidia A100)
`Qwen3.5-122B-A10B-abliterated-Q4_K_S.gguf`~69.7 GB4.58Versión de 4 bits optimizada para velocidad de inferencia a costa de un impacto mínimo en la precisión.
`Qwen3.5-122B-A10B-abliterated-Q3_K_L.gguf`~63.4 GB4.01Variante Large de 3 bits. Diseñada para mantener el modelo a flote en sistemas donde los 4 bits exceden la memoria disponible. (ej. setups avanzados con Nvidia CMP 170HX)
`Qwen3.5-122B-A10B-abliterated-Q3_K_M.gguf`~58.6 GB3.66Cuantización media de 3 bits. En arquitecturas MoE complejas se puede percibir una degradación parcial en respuestas muy avanzadas.
`Qwen3.5-122B-A10B-abliterated-Q3_K_S.gguf`~52.9 GB3.44Variante de 3 bits compacta. Diseñada estrictamente para priorizar el espacio físico.
`Qwen3.5-122B-A10B-abliterated-Q2_K.gguf`~44.9 GB2.90Compresión Extrema. Los modelos MoE son propensos a bucles gramaticales e incoherencias lógicas severas bajo esta precisión. Usar solo para experimentación.

Nota: Los tamaños son estimaciones iniciales de referencia basadas en el peso nativo del modelo en safetensors; se recomienda verificar el tamaño final en disco tras la compilación local.

🚀 Uso Rápido en Consola

Para desplegar y consultar el modelo usando la CLI nativa de llama.cpp:

bash
./llama-cli -m Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf -n 1024 -p "Escribe un ensayo detallado sobre la evolución de la computación."

⚖️ Descargo de Responsabilidad

Este modelo es de acceso abierto y carece de filtros de seguridad artificiales. El contenido generado es responsabilidad exclusiva de quien ejecute la inferencia local.

🔒 Verificación de Integridad Sha256sum (SHA-256)

Para asegurarte de que los archivos de gran tamaño no se hayan corrompido durante la descarga, podés verificar su integridad utilizando el archivo oficial SHA256SUMS.txt provisto en este repositorio.

En Linux / macOS: Abre una terminal en la carpeta donde descargaste el modelo y el archivo de hashes, y ejecuta(EJEMPLO):

bash
grep "Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf" SHA256SUMS.txt | sha256sum -c

Resultado Esperado:

  • —Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf: La suma coincide (o OK) (¡Descarga perfecta!)

Resultado Negativo:

  • —Qwen3.5-122B-A10B-abliterated-Q4_K_M.gguf: "La suma NO coincide (¡Falla!) La descarga falló o está incompleta. Se recomienda volver a descargar ese archivo específico.

Nota: Si vas a verificar otro tamaño (como el Q5_K_M o el Q8_0), simplemente reemplaza el nombre del archivo dentro de las comillas del comando.

Créditos

  • —Modelo Base Original: Alibaba Qwen Team
  • —Abliteración: wangzhang
  • —Colección de Cuantizaciones GGUF: Thaurock