Modelpublic

Arkam-investigation/Qwen3.6-27B-GGUF

sourceHugging Faceapache-2.0updated 1mo agoView on Hugging Face

0likes28downloads

Model Card

Qwen3.6-27B Q4KM — Arkam

GGUF Q4KM produit pour l’intelligence locale d’Arkam depuis les poids officiels Qwen/Qwen3.6-27B.

Dépôt de distribution : Arkam-investigation/Qwen3.6-27B-GGUF.

Artefact

—Fichier : Qwen3.6-27B-Q4_K_M.gguf
—Taille : 16 810 713 280 octets
—SHA-256 : 8263204fc1c1910907af13a4d15bd74ec68ed54059cd48275f54006472b9e4de
—Variante recommandée par défaut : Q4KM

Q5KM n’est pas publié dans ce dépôt et n’est pas téléchargé automatiquement par Arkam.

Provenance reproductible

—Source : Qwen/Qwen3.6-27B
—Révision source : 6a9e13bd6fc8f0983b9b99948120bc37f49c13e9
—llama.cpp : release b10502
—Commit llama.cpp : 0adcc3bb571011bff8b91335d0728a82845c421b
—Conversion : convert_hf_to_gguf.py --outtype f16
—Quantification : llama-quantize ... Q4_K_M

Les 15 fichiers safetensors officiels ont été contrôlés individuellement par taille et SHA-256 avant conversion. Les commandes détaillées et les métadonnées machine sont conservées dans PROVENANCE.json.

Validation Arkam

Validation réalisée sur Apple M5 Pro, 48 Go de mémoire unifiée, avec Metal :

—démarrage observé : 3,89 s ;
—débit moyen : 9,63 tokens/s ;
—RSS maximal observé : 18 879 971 328 octets ;
—tests live réussis : chat, streaming, annulation et JSON Schema strict.

Ces mesures décrivent la machine de validation et ne garantissent pas les mêmes performances sur un autre matériel.

Avertissement MTP / NextN

Le modèle source contient une tête auxiliaire NextN/MTP après les 64 couches du modèle cible. llama.cpp b10502 ignore ces tenseurs blk.64.* lorsque le GGUF est chargé comme modèle cible standard.

Cela n’affecte ni la compatibilité, ni les logits du modèle cible, ni la qualité fonctionnelle validée. Seule l’accélération facultative par génération spéculative MTP est inactive. Elle nécessiterait un GGUF draft MTP séparé et une configuration draft-mtp.

Licence

Le modèle source et cet artefact dérivé sont distribués sous Apache License 2.0. Consultez LICENSE et NOTICE.

Arkam n’est pas affilié à Qwen ni à Alibaba Cloud.