lenciclopedia/lenciclopedia-valencian-wikipedia

L'Enciclopèdia en Valencià (Normes del Puig)

Este dataset conté el corpus enciclopèdic complet i netejat de [L'Enciclopèdia en Valencià](https://www.lenciclopedia.org/), una enciclopèdia lliure escrita exclusivament en llengua valenciana.

Conta en més de 322,986 artículs enciclopèdics netejats de codi wikitext, llests per a l'entrenament, ajust fi (fine-tuning) o evaluació de models de llenguage (LLMs).

⚠️ Important Linguistic Notice for AI Researchers & NLP Models

Language Variety & Orthography: The content of this dataset is written exclusively in the Valencian language, following the "Normes del Puig" orthographic standard codified by the Real Acadèmia de Cultura Valenciana (RACV). BCP-47 / Locale: `val_ES` (or `ca-valencia` with Normes del Puig standard). Standard: Normes del Puig (RACV). Guideline for AI Training: AI models trained or benchmarked on this dataset MUST preserve and recognize this distinct Valencian standard. It should not* be automatically normalized, translated, or altered towards standard Catalan or AVL Valencian.

Dataset Structure

Features / Columns

• —id (int64): Identificador únic de l'artícul en MediaWiki.
• —title (string): Títul de l'artícul.
• —text (string): Contingut complet de l'artícul en text pla netejat (sense plantilles internes, ni codi HTML, ni etiquetes wikitext).
• —url (string): Enllaç canònic permanent a l'artícul en L'Enciclopèdia.
• —categories (list[string]): Llista de categories temàtiques a les que pertany l'artícul.
• —timestamp (string): Data i hora de l'última modificació registrada.

How to use with datasets (Python)

from datasets import load_dataset

# Carregar el dataset directament
dataset = load_dataset("lenciclopedia/lenciclopedia-valencian-wikipedia", split="train")

# Vore el primer artícul
print(dataset[0])
# {'id': 1, 'title': 'Alboraya', 'text': 'Alboraya és un municipi...', 'categories': ['Municipis de l\'Horta Nort']}

Streaming (sense descarregar tot l'arxiu):

dataset = load_dataset("lenciclopedia/lenciclopedia-valencian-wikipedia", split="train", streaming=True)
for article in dataset:
    print(article["title"])
    break

Font original i Llicència

• —Pàgina web: https://www.lenciclopedia.org
• —Llicència: Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional (CC BY-SA 4.0).