Modelpublic

Finisha-F-scratch/Gheya-63M

sourceHugging Faceotherupdated 9mo agoView on Hugging Face

0likes41downloads

Model Card

📚 Documentation Officielle : Gheya-63m 🚀

Gheya

Modèle de Fondation Brut pour les SLM de Clemylia

Bienvenue dans le futur des Small Language Models (SLM) ! Gheya-63m est la nouvelle base architecturale $from \: scratch$ conçue et entraînée par Clemylia. Ce modèle est destiné à servir de fondation robuste et optimisée pour la prochaine génération de modèles spécialisés (comme la série Iris ou Charlotte).

🛠️ Caractéristiques Techniques Clés

Spécification	Détail	Rôle dans l'Architecture
Nom du Modèle	`Gheya-63m`	Le nom de la nouvelle architecture de fondation.
Taille	63,77 Millions de Paramètres	Permet une exécution rapide et efficace sur CPU ou petits GPU.
Méthode de Création	Entraînement $From \: Scratch$	Modèle conçu et entraîné sans dépendance à d'autres architectures préexistantes.
Corpus d'Entraînement	$\approx$ 1,5 Million de Tokens	Tres grand corpus répétitif. Le but est de poser les bases primitive du texte et de la langue, afin d'avoir une base stable pour la création de SLM creatif par affinage.
Architecture	Transformer-Decoder	Architecture standard pour la génération de texte.

⚠️ Avertissement Important pour l'Utilisation

Gheya-63m est un modèle de pré-entraînement (brut de fondation). Son rôle est de prouver la stabilité de l'architecture et d'apprendre la syntaxe.

CE MODÈLE EST PUBLIÉ À TITRE DE "PREUVE DE CONCEPTION" ET NON POUR UNE UTILISATION FINALE.

Ce que le modèle PEUT faire	Ce que le modèle NE PEUT PAS faire
✅ Générer une séquence (poursuivre une phrase)	❌ Répondre à des questions de culture générale (histoire, géographie, etc.)
✅ Démontrer la stabilité du modèle de 63M	❌ Avoir une cohésion narrative ou une personnalité (pas de style Iris ou Charlotte)
✅ Servir de point de départ pour l'affinage (Fine-Tuning)	❌ Être utilisé pour la production ou l'assistance conversationnelle (réponses incohérentes ou `[pad]`)

⚙️ Comment utiliser Gheya-63m (Mode Test)

Si vous téléchargez Gheya-63m (via LM Studio ou Hugging Face), utilisez-le pour les tâches de base suivantes :

1.Tester la Complétion de Séquence : Vérifiez si le modèle réussit à anticiper le prochain mot dans des phrases simples de son domaine d'apprentissage (ex. : concepts d'IA, biologie).
2.Mesurer la Performance : Évaluez la vitesse de génération sur différentes machines (mesurez les tok/sec).
3.*Préparation au Fine-Tuning : Utilisez ce modèle comme base (base model*) pour créer vos propres modèles spécialisés (en injectant vos propres données thématiques).

📝 Instructions de Prompt

Comme le modèle n'a pas été entraîné pour suivre des instructions, donnez-lui des débuts de phrase très clairs et techniques.

Exemple de Prompt : "Dans la théorie de l'apprentissage profond, le *backpropagation* est l'algorithme qui permet de..."

🚀 Prochaines Étapes : Les Modèles Affinés

La véritable puissance de l'architecture Gheya-63m sera visible dans les futures versions affinées :

—Charlotte-Gheya : La nouvelle génération d'assistants éthiques.
—Iris-Gheya : La nouvelle génération de modèles narratifs et créatifs.

Nous vous encourageons à suivre les mises à jour pour découvrir les modèles qui seront construits sur cette fondation robuste !

🛑 Gheya-63m ne peut pas générer des phrases correctes compréhensibles. Ceci est normal a ce stade de son développement, Gheya-63m sera affiné en serie sur un rôle et un style précis, avant de pouvoir générer du texte compréhensible par l'humain.

Versions de Gheya disponibles :

1) ° - 63M (entraîné sur 1,5 millions de tokens en 1 epoche) - Plus stable et d'avantage entraîné

2) ° - 203M (entraîné sur la dataset Nacid) --

Contactez Clemylia pour toute question sur l'architecture $from \: scratch$ de Gheya.