CoolFace
Modelpublic

Croc-Prog-HF/LoreWeaver-2-LoRA_PREVIEW

sourceHugging Facecc-by-4.0updated 18d agoView on Hugging Face
0likes
Model Card

LoreWeaver-2-LoRA_PREVIEW

Modello LLM creato da EleutherAI/pythia-2.8b, specializzato per il RolePlay a turni brevi o di media lunghezza. I migliori casi d'uso per questo modello sono(oltre al RolePlay): Recitazione, scrittura di personaggi basandosi su loro interazioni con contesti(anche ben strutturati e complessi), sperimentazione dinamiche di evoluzione di un personaggio immaginario in nel mondo reale.

[!WARNING] Attenzione: Questo modello è solo una anteprima di LoreWeaver-2 e potrebbe non essere completamente coerente, allineato o efficente. Fai inferenza con cautela. Non basarti su questo modello per creare finetunes o ricerche, per via della sua instabilità.

<!--

Come il modello gestisce il contesto<br/> Il modello non aggiorna i suoi pesi durante l'inferenza. La coerenza contestuale è ottenuta attraverso meccanismi di attenzione, prompt strutturati e memoria testuale all'interno della finestra di contesto.

-->

Altre versioni della famiglia LoreWeaver-2:

Tutti i modelli della famiglia LoreWeaver-2, si trovano in questa Raccolta

Architettura

  • —Backbone: EleutherAI/pythia-2.8b
  • —Hidden size: ~3200
  • —Layers: 26–32
  • —Heads: 32
  • —Rotary Embeddings (RoPE)
  • —RMSNorm
  • —SwiGLU
  • —KV-cache

Tokenizer (BPE GPT-Neo)

  • —Normalizzazione Unicode (NFKC)
  • —Vocab size (prevista): 50k–65k
  • —Lingue supportate: Inglese, Italiano, Francese, Tedesco, Spagnolo

Datasets utilizzati

<!--

  • —Datasets di linguaggio
  • —HuggingFaceFW/fineweb-edu
  • —en
  • —BramVanroy/CommonCrawl-CreativeCommons-fine
  • —de
  • —en
  • —fr
  • —it
  • —es
  • —OpenLLM-France/wikipedia
  • —de
  • —fr
  • —it
  • —es --> <table> <thead> <tr> <th>Dataset di linguaggio</th> <th>Tedesco</th> <th>Inglese</th> <th>Francese</th> <th>Italiano</th> <th>Spagnolo</th> </tr> </thead> <tbody> <tr> <td><a href="https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu">HuggingFaceFW/fineweb-edu</a></td> <td></td> <td><a href="https://huggingface.co/datasets/HuggingFaceFW/fineweb-edu/tree/main/sample/10BT">☑️</a></td> <td></td> <td></td> <td></td> </tr> <tr> <td><a href="https://huggingface.co/datasets/BramVanroy/CommonCrawl-CreativeCommons-fine">BramVanroy/CommonCrawl-CreativeCommons-fine</a></td> <td><a href="https://huggingface.co/datasets/BramVanroy/CommonCrawl-CreativeCommons/tree/main/data/CC-MAIN-2024-51/deu">☑️</a></td> <td><a href="https://huggingface.co/datasets/BramVanroy/CommonCrawl-CreativeCommons/tree/main/data/CC-MAIN-2024-51/eng">☑️</a></td> <td><a href="https://huggingface.co/datasets/BramVanroy/CommonCrawl-CreativeCommons/tree/main/data/CC-MAIN-2024-51/fra">☑️</a></td> <td><a href="https://huggingface.co/datasets/BramVanroy/CommonCrawl-CreativeCommons/tree/main/data/CC-MAIN-2024-51/ita">☑️</a></td> <td><a href="https://huggingface.co/datasets/BramVanroy/CommonCrawl-CreativeCommons/tree/main/data/CC-MAIN-2024-51/spa">☑️</a></td> </tr> <tr> <td><a href="https://huggingface.co/datasets/OpenLLM-France/wikipedia">OpenLLM-France/wikipedia</a></td> <td><a href="https://huggingface.co/datasets/OpenLLM-France/wikipedia/tree/main/de/20240201">☑️</a></td> <td></td> <td><a href="https://huggingface.co/datasets/OpenLLM-France/wikipedia/tree/main/fr/20240201">☑️</a></td> <td><a href="https://huggingface.co/datasets/OpenLLM-France/wikipedia/tree/main/it/20240201">☑️</a></td> <td><a href="https://huggingface.co/datasets/OpenLLM-France/wikipedia/tree/main/es/20240201">☑️</a></td> </tr> </tbody> </table>

Tecnologie di ottimizzazione dell'addestramento

Ottimizzazioni di memoria (VRAM)

  • —Gradient Checkpointing
  • —Mixed Precision: bf16/fp16 (rilevato automaticamente durante l'addestramento)
  • —Gradient Accumulation
  • —Ottimizzazione del'uso diretto della VRAM con Unsloth.
  • —Unsloth FastLanguageModel, UnslothTrainer

Ottimizzazioni di attenzione

  • —FlashAttention 2
  • —TF32 (solo su Ampere+)
  • —AdamW fused (se disponibile)
  • —Weight decay selettivo

Ottimizzazioni del learning rate

  • —Cosine LR Scheduler
  • —Warmup lungo

Ottimizzazioni sul dataset

  • —Curriculum Learning (soft)
  • —Turn-aware training

Ottimizzazioni Semantiche

  • —Tone tokens
  • —Safe-stop token

Deep learning (Contextual Learning)

Contextual Learning permette al modello di non cambiare i pesi e ricodificare il contesto a ogni turno.