Modelpublic

patdev/k3-a40-bootstrap

sourceHugging Faceotherupdated 16d agoView on Hugging Face

0likes1.3kdownloads

Model Card

Endpoint Anthropic pour Claude Code, sur une seule A40

Un pod RunPod à 0,44 $/h qui sert l'API Anthropic (/v1/messages), au choix avec Qwen3-Coder-30B ou Kimi-Linear-48B, à 575 tok/s en mono-flux sur de l'édition de code — le régime réel d'un agent.

ANTHROPIC_BASE_URL=https://<podId>-8080.proxy.runpod.net
ANTHROPIC_API_KEY=peu-importe

Ce qui est mesuré

	Qwen3-Coder-30B	Kimi-Linear-48B
édition de code, mono-flux	575 tok/s	100 tok/s
agrégé, 16 flux	782 tok/s	616 tok/s
agrégé, 32 flux	1 166 tok/s	772 tok/s
prefill à froid	4 485 tok/s	7 647 tok/s
prefill à chaud	70 568 tok/s	36 257 tok/s
contexte	262 144	1 048 576 (KV 1 505 550)
$/1M en mono-flux	0,21	1,22
tool calling	oui (`qwen3_coder`)	oui (`kimi_k2`)

Les deux franchissent 500 tok/s sur une seule A40 : Qwen en mono-flux grâce à la spéculation, Kimi en agrégé dès 16 flux — la spéculation y étant inutilisable puisqu'elle corrompt le code.

Les 575 tok/s dépassent d'un facteur 4,4 le plafond mémoire d'un décodage classique (~130 tok/s mesuré) : c'est la spéculation n-gram qui émet 17,16 tokens en moyenne par lecture des poids, parce qu'en édition de code la sortie est largement prédictible depuis le prompt.

Les fichiers

fichier	rôle
`vllm_bootstrap.sh`	déploiement complet, deux modèles, rechargement à chaud sans recréer le pod
`anthropic_proxy.py`	pont Anthropic ↔ OpenAI : streaming SSE, appels d'outils, `count_tokens`
`test_anthropic.sh`	5 contrôles de protocole — c'est eux qui distinguent « ça répond » de « Claude Code fonctionne »
`bench_endpoint.sh`	protocole de mesure commun à tous les modèles
`DEPLOY.md`	mise en service, réglages, pièges
`RESULTS.md`	toutes les mesures, y compris les négatives
`FINDINGS.md`	le journal des cinq sessions, avec les hypothèses réfutées

Les artefacts Kimi-K3 (k3_bootstrap.sh, Kimi-K3-DSpark-BF16.gguf, fix_dspark_arch.py, les binaires llama.cpp) restent présents ; voir RESULTS.md pour savoir pourquoi cette piste a été abandonnée sur A40.

Ce qui n'a pas marché, et qu'il ne faut pas refaire

—Kimi-K3 auto-hébergé sur A40 est dominé sur tous les axes : 7,3 tok/s pour 2,20 $/h et ~85 $/1M, contre 29,2 tok/s et ~16 $/1M pour l'API officielle. Il n'achète ni le prix ni la qualité.
—Optimiser les kernels MoE ne donnait rien parce que le mur était ailleurs : llama.cpp sérialise les couches entre GPU, et le décodage tournait à 7 % du plafond de bande passante. Fused SiTU : 0 %. Warp-row : +1,2 %.
—La spéculation n-gram sur Kimi-Linear corrompt le code de façon reproductible (fibonacci(n-1(n-1)), alors que l'échantillonnage par rejet devrait être sans perte. Elle y est désactivée par défaut.
—`--enable-prefix-caching` doit être demandé explicitement. Sans le flag, Kimi-Linear donne 1,04× entre prefill froid et chaud, ce qui ressemble à une limite d'architecture hybride ; avec, il donne 4,74×. J'ai d'abord conclu à tort que vLLM ne savait pas cacher au-dessus d'un état récurrent.
—Le taux d'acceptation n'est pas la métrique à suivre : il chute de 68 % à 27 % pendant que le débit monte de 40 %. Ce qui compte est le nombre de tokens émis par passe avant.

Le compromis à connaître

La spéculation gagne en mono-flux et perd en agrégé — les brouillons consomment le budget de batch. Aucun réglage ne gagne partout :

un seul utilisateur (Claude Code)   speculation n=24  ->   575 tok/s, 0,21 $/1M
service multi-utilisateurs          speculation OFF   -> 1 166 tok/s, 0,105 $/1M

Le défaut du dépôt est la spéculation, la cible étant Claude Code.