FlorianJc/Vigostral-7b-Chat-GGUF

Vigostral-7b-Chat GGUF

Conversion du modèle vigostral-7b-chat au format GGUF

Lien du modèle original: https://huggingface.co/bofenghuang/vigostral-7b-chat/

Le projet llama.cpp (pour l'inférence): https://github.com/ggerganov/llama.cpp/

Les modèles ont dans leur nom un suffixe qui définit la quantification.

La perte de qualité est tirée de la documentation de llama.cpp et a été calculée par la variation de la perplexité (ppl) sur le modèle LLaMA-v1-7B. Elle n'est donc fournie ici que pour donner une approximation de la perte rééle.