CoolFace
Modelpublic

patdev/k3-a40-bootstrap

sourceHugging Faceotherupdated 18d agoView on Hugging Face
0likes1.3kdownloads
connect.ps1101 linesDownload Raw Back to root
1<#2.SYNOPSIS3    Branche Claude Code sur l'endpoint auto-heberge, apres verification.4 5.DESCRIPTION6    Les variables sont posees dans la session PowerShell courante : elles7    disparaissent a sa fermeture, et n'affectent aucune autre fenetre. C'est8    voulu -- on veut pouvoir revenir a l'API officielle en fermant l'onglet.9 10    Le script VERIFIE l'endpoint avant de lancer quoi que ce soit. Sans ce11    controle, un pod arrete ou en cours de rechargement donne un Claude Code qui12    demarre puis echoue au premier message, ce qui se diagnostique mal.13 14.EXAMPLE15    .\connect.ps116    .\connect.ps1 -NoLaunch      # pose les variables sans demarrer Claude Code17    .\connect.ps1 -Model claude-kimi-k318#>19[CmdletBinding()]20param(21    [string] $BaseUrl = "https://y26flhzhufrkb3-8080.proxy.runpod.net",22    [string] $Model   = "claude-ornith[1m]",23    [switch] $NoLaunch24)25 26$ErrorActionPreference = "Stop"27 28Write-Host "Verification de $BaseUrl ..." -ForegroundColor Cyan29try {30    $models = Invoke-RestMethod -Uri "$BaseUrl/v1/models" -TimeoutSec 30 `31        -Headers @{ "anthropic-version" = "2023-06-01" }32} catch {33    Write-Host "Endpoint injoignable : $($_.Exception.Message)" -ForegroundColor Red34    Write-Host "Le pod est peut-etre arrete, ou en cours de rechargement." -ForegroundColor Yellow35    exit 136}37 38$ids = $models.data | ForEach-Object { $_.id }39if ($ids -notcontains $Model) {40    Write-Host "Modele '$Model' absent. Disponibles : $($ids -join ', ')" -ForegroundColor Red41    exit 142}43$ctx = ($models.data | Where-Object { $_.id -eq $Model }).context_window44Write-Host "  OK - $Model, contexte $('{0:N0}' -f $ctx) jetons" -ForegroundColor Green45 46# ANTHROPIC_API_KEY, s'il traine, prend le pas sur AUTH_TOKEN et fait partir les47# requetes vers l'API officielle : on obtient un vrai Claude en croyant tester48# le modele local, et la facture arrive avec.49if ($env:ANTHROPIC_API_KEY) {50    Write-Host "  ANTHROPIC_API_KEY efface pour cette session (il aurait pris le dessus)" -ForegroundColor Yellow51    Remove-Item Env:\ANTHROPIC_API_KEY52}53 54$env:ANTHROPIC_BASE_URL   = $BaseUrl55$env:ANTHROPIC_AUTH_TOKEN = "x"          # le pont n'authentifie pas, le champ doit exister56$env:ANTHROPIC_MODEL      = $Model57 58# Fenetre de contexte. Deux reglages DOCUMENTES, l'un ne suffit pas sans l'autre.59#60# 1. Claude Code suppose 200 k pour tout identifiant qu'il ne reconnait pas, et61#    declenche l'auto-compactage a cette limite meme si le moteur accepte un62#    million. DISABLE_UNKNOWN_MODEL_WINDOW_ENFORCEMENT leve cette presomption :63#    il ne compacte alors qu'apres un refus explicite de l'API.64# 2. AUTO_COMPACT_WINDOW fixe la fenetre reellement utilisee. La doc precise que65#    Claude Code la PLAFONNE a la fenetre supposee du modele -- d'ou l'inutilite66#    de la poser sans le point 1.67$env:CLAUDE_CODE_DISABLE_UNKNOWN_MODEL_WINDOW_ENFORCEMENT = "1"68$env:CLAUDE_CODE_AUTO_COMPACT_WINDOW = "1000000"69 70# Ajoute l'entree au selecteur /model SANS validation d'identifiant. Inutile si71# CLAUDE_CODE_ENABLE_GATEWAY_MODEL_DISCOVERY=1 est deja pose (le selecteur lit72# alors /v1/models du pont), mais sans effet nefaste s'il l'est.73$env:ANTHROPIC_CUSTOM_MODEL_OPTION = $Model74$env:ANTHROPIC_CUSTOM_MODEL_OPTION_NAME = "Ornith-1.5-35B-A3B (pod A40 x2)"75$env:ANTHROPIC_CUSTOM_MODEL_OPTION_DESCRIPTION = "Auto-heberge, contexte 1M, 2,82 sessions simultanees"76 77# Claude Code appelle un modele "rapide" pour les taches secondaires (titres,78# resumes). Sans ces alias il reclamerait un Haiku inexistant ici. Le pont les79# route tous vers l'unique modele charge.80$env:ANTHROPIC_SMALL_FAST_MODEL   = "claude-3-5-haiku"81$env:ANTHROPIC_DEFAULT_HAIKU_MODEL = "claude-3-5-haiku"82$env:ANTHROPIC_DEFAULT_SONNET_MODEL = $Model83$env:ANTHROPIC_DEFAULT_OPUS_MODEL   = $Model84 85Write-Host ""86Write-Host "Variables posees pour CETTE session :" -ForegroundColor Cyan87"ANTHROPIC_BASE_URL","ANTHROPIC_MODEL","CLAUDE_CODE_AUTO_COMPACT_WINDOW",88"CLAUDE_CODE_DISABLE_UNKNOWN_MODEL_WINDOW_ENFORCEMENT" |89    ForEach-Object { "  {0,-28} {1}" -f $_, (Get-Item "Env:\$_").Value }90 91Write-Host ""92Write-Host "N'utilisez PAS --permission-mode acceptEdits pour l'instant." -ForegroundColor Yellow93Write-Host "Le garde-fou du pont bloque les ecritures abregees, mais il ne couvre" -ForegroundColor Yellow94Write-Host "que ce mode de defaillance. Le modele n'a ete valide que sur un fichier." -ForegroundColor Yellow95Write-Host ""96 97if (-not $NoLaunch) {98    Write-Host "Lancement de Claude Code..." -ForegroundColor Cyan99    claude100}101