hayulalab/Hayula-Algorithm-7B-LoRA

1---2license: other3license_name: hayula-research-license-v14license_link: https://hayula.xyz/license5language:6- ar7- en8tags:9- arabic10- bilingual11- llama12- lora13- qwen2.514- averroes15- hayula16pipeline_tag: text-generation17base_model: hayulalab/Averroes-Q-Instruct18---19 20<p align="center">21  <img src="https://huggingface.co/hayulalab/assets/resolve/main/banner.jpg" alt="Hayula AI Lab" width="100%">22</p>23 24# الخوارزمي / Hayula-Algorithm-7B-LoRA25 26**تطوير البرمجيات** — 19,962 ثنائي تعليمي للبرمجة من مجموعة Averroes27 28---29 30## English31 32### Hayula-Algorithm-7B-LoRA33 34**Code Development Specialist** — LoRA adapter fine-tuned on 19,962 code instruction pairs from Averroes corpus.35 36Named after Al-Khwarizmi, the father of algebra and algorithms.37 38| Property | Value |39|:---------|:------|40| **Base Model** | Averroes-Q-Instruct (Qwen2.5-7B) |41| **Method** | LoRA (rank 8, scale 20, 16 layers) |42| **Training** | 500 iterations, lr 1e-5, batch 4 |43| **Hardware** | Apple M2 Ultra (192GB) |44| **Adapter Size** | 44MB |45| **Metrics** | Val loss 1.389 |46 47### Quick Start48 49```python50from mlx_lm import load, generate51from mlx_lm.lora import load_adapters52 53model, tokenizer = load("hayulalab/Averroes-Q-Instruct")54load_adapters(model, "hayulalab/Hayula-Algorithm-7B-LoRA")55 56messages = [{"role": "user", "content": "Analyze this finding..."}]57prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True)58response = generate(model, tokenizer, prompt=prompt, max_tokens=256)59print(response)60```61 62---63 64## العربية65 66### الخوارزمي — نموذج تطوير البرمجيات67 68مُدرَّب باستخدام LoRA على بيانات برمجية عربية من مجموعة Averroes.69 70سُمّي على اسم محمد بن موسى الخوارزمي، واضع أسس الجبر والخوارزميات.71 72| الخاصية | القيمة |73|:--------|:-------|74| **النموذج الأساسي** | Averroes-Q-Instruct |75| **طريقة التدريب** | LoRA (rank 8, scale 20, 16 layers) |76| **عدد التكرارات** | 500 |77| **معدل التعلم** | 1e-5 |78| **الجهاز** | Apple M2 Ultra (192GB) |79| **حجم المحوّل** | 44MB |80| **النتائج** | Val loss 1.389 |81 82### البدء السريع83 84```python85from mlx_lm import load, generate86from mlx_lm.lora import load_adapters87 88model, tokenizer = load("hayulalab/Averroes-Q-Instruct")89load_adapters(model, "hayulalab/Hayula-Algorithm-7B-LoRA")90 91messages = [{"role": "user", "content": "حلل هذه الثغرة الأمنية..."}]92prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True)93response = generate(model, tokenizer, prompt=prompt, max_tokens=256)94print(response)95```96 97---98 99### License / الترخيص100 101Hayula Research License v1.0 — [Full terms](https://hayula.xyz/license)102