Modelpublic

natzx94/EsDrac-v1-7B

sourceHugging Faceapache-2.0updated 3mo agoView on Hugging Face

0likes21downloads

Model Card

EsDrac 🐉

The first language model that speaks Mallorcan. Es primer model de llenguatge que xerra mallorquí.

Also available in Español and Mallorquí — see the expandable sections at the bottom.

▶️ Try it free in Google Colab (badge above, T4 GPU) — or run it locally with the [GGUF](https://huggingface.co/natzx94/EsDrac-v1-7B-GGUF) (Ollama · LM Studio · llama.cpp).

EsDrac is a 7B conversational model that genuinely speaks Mallorcan (mallorquí) — the Balearic variant of Catalan, with its characteristic salat article (es, sa, ses, so) — not just standard Catalan. It also handles English and Spanish fluently.

Built on Qwen2.5-7B-Instruct, uncensored and fine-tuned. The name comes from Es Drac de na Coca, the Mallorcan dragon legend.

📚 The Mallorcan instruction data used to teach it is openly released: [natzx94/EsDrac-mallorqui](https://huggingface.co/datasets/natzx94/EsDrac-mallorqui).

Highlights

—🗣️ Speaks Mallorcan — composes real sentences with the salat article, folktale (rondaia) openings and native vocabulary. As far as we know, the first model that does this.
—🌍 Multilingual — English and Spanish are preserved, no catastrophic forgetting.
—🤖 Agentic & tool use (reinforced) — strong native function-calling and multi-step reasoning (see below).
—⚖️ Uncensored on Chinese politics — answers truthfully and in a balanced way on topics the base model tends to deflect (Tiananmen, Xinjiang, Tibet…), without refusing and without propaganda in either direction.

🤖 Agentic & tool use (a strong point)

A main focus of EsDrac was reinforcing agentic and function-calling ability, with dedicated ReAct-trajectory training (English, Spanish and Mallorcan). It can:

—Emit valid native <tool_call> JSON.
—Chain multiple tools across multi-step tasks and combine their results.
—Pick the right tool among several — and know when not to call one.
—Use a tool's result in a follow-up turn (multi-turn).
—Recover from tool errors instead of getting stuck.

On our own tool-calling and ReAct agent evaluations (with real tool execution), EsDrac performs on par with the base Qwen2.5-7B-Instruct, keeping full native agentic ability despite the Mallorcan specialization and the uncensoring.

Example

Q (mallorquí): Conta'm es començament d'una rondaia mallorquina.
A: Això era i no era, un al·lot que nomia Joanet, que vivia amb sa mare
   dins una caseta veïnat de sa mar…

   (EN: "Once upon a time, a lad named Joanet who lived with his mother
    in a little house by the sea…")

Usage

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "natzx94/EsDrac-v1-7B"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

msgs = [{"role": "user", "content": "Explica'm en dues frases què és una illa, en mallorquí."}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
ins = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**ins, max_new_tokens=200, do_sample=False)
print(tok.decode(out[0][ins["input_ids"].shape[1]:], skip_special_tokens=True))

Limitations

—May hallucinate specific facts (dates, figures, names) when answering from memory — verify anything important.
—This is a research model with no extra safety layer. It can produce sensitive content and criticism of governments and political figures. Use responsibly.

License & base

Derived from Qwen2.5-7B-Instruct (Apache 2.0); distributed under the same license.

<details> <summary>Español</summary>

EsDrac es un modelo conversacional de 7B que habla mallorquín de verdad (mallorquí) — la variante balear del catalán, con su artículo salado característico (es, sa, ses, so)—, no solo catalán estándar. También domina el español y el inglés.

Basado en Qwen2.5-7B-Instruct, descensurado y afinado. El nombre viene de Es Drac de na Coca, la leyenda mallorquina del dragón.

Puntos fuertes

—🗣️ Habla mallorquín — compone frases con artículo salado, fórmulas de rondaia, léxico propio. El primer modelo que lo hace.
—🌍 Multilingüe — inglés y español intactos, sin olvido catastrófico.
—🤖 Agente y uso de herramientas (reforzado) — function-calling nativo sólido: encadena herramientas, elige la correcta, sabe cuándo NO llamar ninguna, multiturno y se recupera de errores. A la altura de la base Qwen2.5-7B-Instruct.
—⚖️ Descensurado en política china — responde de forma veraz y equilibrada temas que el modelo base suele esquivar (Tiananmén, Xinjiang, Tíbet…), sin negarse y sin propaganda hacia ningún lado.

Limitaciones — puede inventar datos concretos (fechas, cifras, nombres); contrasta lo importante. Es un modelo de investigación, sin capa de seguridad extra. Uso responsable. Ver el bloque Usage de arriba para el código.

Licencia — derivado de Qwen2.5-7B-Instruct (Apache 2.0).

</details>

<details> <summary>🐉 Mallorquí</summary>

EsDrac és un model conversacional de 7B que xerra mallorquí de veres —sa variant balear des català, amb s'article salat (es, sa, ses, so)—, no només català estàndard. També entén i respon en espanyol i anglès.

Es nom ve d'Es Drac de na Coca, sa llegenda mallorquina des drac.

Què sap fer

—🗣️ Xerra mallorquí — compon frases amb article salat, fórmules de rondaia ("Això era i no era…") i lèxic propi. Es primer model que ho fa.
—🌍 Multilingüe — anglès i espanyol intactes, sense oblit.
—🤖 Agent i eines (reforçat) — function-calling natiu fort: encadena eines, tria sa correcta, sap quan NO n'ha de cridar cap, multi-torn i es recupera d'errors. A s'altura des model base Qwen2.5-7B-Instruct.
—⚖️ Descensurat pel que fa a sa política xinesa — respon de manera veraç i equilibrada temes que es model base solia esquivar (Tiananmen, Xinjiang, Tíbet…), sense negar-s'hi i sense propaganda cap a cap costat.

Limitacions — pot inventar dades concretes (dates, xifres, noms); contrasta lo important. És un model de recerca, sense capa de seguretat extra. Usa'l amb responsabilitat. Es codi és en es bloc Usage de dalt.

Llicència — derivat de Qwen2.5-7B-Instruct (Apache 2.0).

</details>

Made in Mallorca. 🐉 · Fet a Mallorca.