Apppublic

johngaltvc/pony-v8

sourceHugging Faceupdated 19d agoView on Hugging Face

0likes

App README

Pony v8 — сервер генерации

Раздаёт модель из train/ по HTTP: GET /health, POST /generate (поток токенов, SSE). Веса берутся с Hugging Face Hub из репозитория MODEL_REPO.

Локально:

bash

pip install -r serve/requirements.txt
MODEL_DIR=v7 uvicorn serve.app:app --port 7860      # любая папка с model.bin, tokenizer.json, meta.json
curl -N -X POST localhost:7860/generate -H 'content-type: application/json' -d '{"prompt":"Москва —","max_new_tokens":40}'

В Space: ноутбук train/pony_v8_colab.ipynb создаёт Space сам и записывает его адрес в v8/config.json.