GzimJusufi/macedonian-qwen2.5-7b-instruct

🇲🇰 Македонски Qwen2.5-7B Instruct

The first instruction-tuned large language model for the Macedonian language — one of the most underserved languages in NLP, spoken by ~2 million people worldwide.

Model Description

This model is a QLoRA fine-tune of Qwen2.5-7B-Instruct on Macedonian instruction data, enabling it to follow instructions, answer questions, translate, and generate text in Macedonian. Trained 2x faster with Unsloth.

Performance

The base model achieves a 51% perplexity improvement over Qwen2.5-7B on Macedonian text:

Example Conversations

Geography: User: Кој е највисокиот врв во Македонија? Assistant: Највисокиот врв во Македонија е Голем Кораб со 2764 метри.

History: User: Кој беше Александар Македонски? Assistant: Александар Македонски беше македонски крал и еден од најголемите воени командири во историјата, кој создал огромна империја во 4 век п.н.е.

Translation: User: Преведи 'благодарам' на англиски. Assistant: Благодарам на англиски се вели 'thank you'.

Culture: User: Што е ајвар? Assistant: Ајварот е традиционален македонски намаз направен од печени пиперки, кој се приготвува есен и е омилен во целиот регион.

Creative writing: User: Напиши песна за Македонија. Assistant: Македонија, земја убава, Планини, езера и реки, Народ горд со срце и душа, Земја на историја и легенди.

Usage

from unsloth import FastModel

model, tokenizer = FastModel.from_pretrained(
    model_name="GzimJusufi/macedonian-qwen2.5-7b-instruct",
    max_seq_length=2048,
)

messages = [
    {"role": "user", "content": "Кажи ми за историјата на Македонија"}
]

inputs = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to("cuda")

outputs = model.generate(input_ids=inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Training Data

Trained on the macedonian-instructions dataset — 542 carefully curated Macedonian instruction-response pairs covering:

• —🗺️ Geography & nature
• —📜 History & culture
• —🗣️ Language & linguistics
• —🍽️ Food & traditions
• —⚽ Sports & daily life
• —🔬 Science & education
• —🌐 Translation (Macedonian ↔ English)

Limitations

• —Trained on 542 instruction pairs — larger datasets would improve performance
• —Best for factual Q&A and short generation tasks
• —May struggle with complex multi-step reasoning
• —Primarily optimized for Macedonian; other languages use base model capability

Future Work

• —[ ] Expand instruction dataset to 1000+ pairs
• —[ ] Evaluation on downstream Macedonian NLP benchmarks
• —[ ] Macedonian speech-to-text integration
• —[ ] Larger base model (14B, 32B)
• —[ ] Albanian language model (coming soon — 7M speakers, even more underserved than Macedonian)

Links

• —🤗 Base model
• —📦 Training dataset
• —🖥️ Live demo
• —💻 GitHub

Citation

If you use this model in your research, please cite: @misc{jusufi2025macedonian, author = {Jusufi, Gzim}, title = {Macedonian Qwen2.5-7B Instruct: First Instruction-Tuned LLM for Macedonian}, year = {2026}, publisher = {HuggingFace}, url = {https://huggingface.co/GzimJusufi/macedonian-qwen2.5-7b-instruct} }

<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>

Built with ❤️ for the Macedonian language and NLP community