CoolFace
Modelpublic

wikilangs/es

sourceHugging Facemitupdated 7mo agoView on Hugging Face
0likes
Model Card

Spanish — Wikilangs Models

Open-source tokenizers, n-gram & Markov language models, vocabulary stats, and word embeddings trained on Spanish Wikipedia by Wikilangs.

🌐 Language Page · 🎮 Playground · 📊 Full Research Report

Language Samples

Example sentences drawn from the Spanish Wikipedia corpus:

Apogonia es un género de escarabajos. Algunos son plagas de los árboles de durio. Referencias
Elymordeum es un género monotípico de plantas herbáceas perteneciente a la familia de las poáceas. Su única especie es Elymordeum montanense (Scribn.) Bowden. Referencias
Graphis es un género de hongos liquenizados de la familia Graphidaceae. Fue descrito por el naturalista francés Michel Adanson en Referencias de Graphidales
Modem puede hacer referencia: el módem, dispositivo electrónico de comunicación; o el partido político francés MoDem.
Opegrapha es un género de hongos liquenizados de la familia Opegraphaceae. Especies Referencias de Arthoniales

Quick Start

Load the Tokenizer

python
import sentencepiece as spm

sp = spm.SentencePieceProcessor()
sp.Load("es_tokenizer_32k.model")

text = "Opegrapha es un género de hongos liquenizados de la familia Opegraphaceae. Espec"
tokens = sp.EncodeAsPieces(text)
ids    = sp.EncodeAsIds(text)

print(tokens)  # subword pieces
print(ids)     # integer ids

# Decode back
print(sp.DecodeIds(ids))

<details> <summary><b>Tokenization examples (click to expand)</b></summary>

Sample 1: Opegrapha es un género de hongos liquenizados de la familia Opegraphaceae. Espec…

VocabTokensCount
8k▁o pe gra p ha ▁es ▁un ▁género ▁de ▁hon … (+22 more)32
16k▁o pe gra pha ▁es ▁un ▁género ▁de ▁hongos ▁li … (+18 more)28
32k▁o pe gra pha ▁es ▁un ▁género ▁de ▁hongos ▁li … (+17 more)27
64k▁o pe gra pha ▁es ▁un ▁género ▁de ▁hongos ▁li … (+17 more)27

Sample 2: Una única familia: Salicaceae. Árboles, arbustos y matas. Numerosos óvulos; 2 ca…

VocabTokensCount
8k▁una ▁única ▁familia : ▁sal ica ceae . ▁árboles , … (+29 more)39
16k▁una ▁única ▁familia : ▁sal ica ceae . ▁árboles , … (+24 more)34
32k▁una ▁única ▁familia : ▁sal icaceae . ▁árboles , ▁arbustos … (+17 more)27
64k▁una ▁única ▁familia : ▁sal icaceae . ▁árboles , ▁arbustos … (+17 more)27

Sample 3: Apogonia es un género de escarabajos. Algunos son plagas de los árboles de durio…

VocabTokensCount
8k▁apo gon ia ▁es ▁un ▁género ▁de ▁esca ra ba … (+14 more)24
16k▁apo gon ia ▁es ▁un ▁género ▁de ▁esca raba jos … (+13 more)23
32k▁apo gonia ▁es ▁un ▁género ▁de ▁esca raba jos . … (+12 more)22
64k▁apo gonia ▁es ▁un ▁género ▁de ▁escarabajos . ▁algunos ▁son … (+9 more)19

</details>

Load Word Embeddings

python
from gensim.models import KeyedVectors

# Aligned embeddings (cross-lingual, mapped to English vector space)
wv = KeyedVectors.load("es_embeddings_128d_aligned.kv")

similar = wv.most_similar("word", topn=5)
for word, score in similar:
    print(f"  {word}: {score:.3f}")

Load N-gram Model

python
import pyarrow.parquet as pq

df = pq.read_table("es_3gram_word.parquet").to_pandas()
print(df.head())

Models Overview

[image]

CategoryAssets
TokenizersBPE at 8k, 16k, 32k, 64k vocab sizes
N-gram models2 / 3 / 4 / 5-gram (word & subword)
Markov chainsContext 1–5 (word & subword)
Embeddings32d, 64d, 128d — mono & aligned
VocabularyFull frequency list + Zipf analysis
StatisticsCorpus & model statistics JSON

Metrics Summary

ComponentModelKey MetricValue
Tokenizer8k BPECompression3.89x
Tokenizer16k BPECompression4.28x
Tokenizer32k BPECompression4.60x
Tokenizer64k BPECompression4.83x 🏆
N-gram2-gram (subword)Perplexity225 🏆
N-gram2-gram (word)Perplexity183,447
N-gram3-gram (subword)Perplexity1,802
N-gram3-gram (word)Perplexity1,817,727
N-gram4-gram (subword)Perplexity10,272
N-gram4-gram (word)Perplexity7,309,961
N-gram5-gram (subword)Perplexity43,696
N-gram5-gram (word)Perplexity8,151,138
Markovctx-1 (subword)Predictability0.0%
Markovctx-1 (word)Predictability0.0%
Markovctx-2 (subword)Predictability37.1%
Markovctx-2 (word)Predictability53.8%
Markovctx-3 (subword)Predictability32.1%
Markovctx-3 (word)Predictability76.0%
Markovctx-4 (subword)Predictability32.2%
Markovctx-4 (word)Predictability88.3% 🏆
VocabularyfullSize1,128,398
VocabularyfullZipf R²0.9938
Embeddingsmono_32dIsotropy0.7898
Embeddingsmono_64dIsotropy0.7625
Embeddingsmono_128dIsotropy0.6860
Embeddingsaligned_32dIsotropy0.7898 🏆
Embeddingsaligned_64dIsotropy0.7625
Embeddingsaligned_128dIsotropy0.6860
Alignmentaligned_32dR@1 / R@5 / R@1056.6% / 81.2% / 86.8%
Alignmentaligned_64dR@1 / R@5 / R@1075.2% / 88.6% / 92.6%
Alignmentaligned_128dR@1 / R@5 / R@1079.6% / 94.4% / 96.8% 🏆

📊 [Full ablation study, per-model breakdowns, and interpretation guide →](RESEARCH_REPORT.md)

About

Trained on wikipedia-monthly — monthly snapshots of 300+ Wikipedia languages.

A project by [Wikilangs](https://wikilangs.org) · Maintainer: Omar Kamali · Omneity Labs

Citation

bibtex
@misc{wikilangs2025,
  author    = {Kamali, Omar},
  title     = {Wikilangs: Open NLP Models for Wikipedia Languages},
  year      = {2025},
  doi       = {10.5281/zenodo.18073153},
  publisher = {Zenodo},
  url       = {https://huggingface.co/wikilangs},
  institution = {Omneity Labs}
}

Links

License: MIT — free for academic and commercial use.

Generated by Wikilangs Pipeline · 2026-03-04 04:26:07