Daffaadityp/AXONAI-7B-VERTEX-GGUF

<div align="center">

⚡ AXONAI-7B-VERTEX

Kecil. Cepat. Tanpa Batas.

Powered by AxonLabs · Fine-tuned with LoRA · Q4KM Quantized · 7B Parameters

   

</div>

📖 Tentang Model Ini

AXONAI-7B-VERTEX adalah large language model buatan AxonLabs yang di-fine-tune menggunakan teknik LoRA (Low-Rank Adaptation) di atas fondasi Qwen2.5-7B-Instruct, kemudian dikuantisasi ke format Q4_K_M GGUF agar dapat berjalan ringan di berbagai perangkat — bahkan tanpa GPU kelas atas sekalipun.

Model ini lahir dari visi sederhana AxonLabs: AI yang bisa menemanimu kapan pun, di mana pun, bahkan tanpa koneksi internet.

"Hanya 7 miliar parameter, tapi cukup untuk mengubah cara kamu bekerja." — Daffa Aditya Pratama, Creator

🏢 Tentang AxonLabs

AxonLabs adalah perusahaan AI independen dengan komitmen besar: membangun model AI yang aksesibel, efisien, dan powerful untuk semua kalangan. Kami percaya bahwa AI berkualitas tidak harus bergantung pada hardware mahal atau koneksi internet yang stabil.

🚀 Keunggulan AXONAI-7B-VERTEX

🧠 Kemampuan Inti

⚙️ Keunggulan Teknis

🔧 Fine-tuned dengan LoRA

Model ini tidak hanya menggunakan base model mentah. AXONAI-7B-VERTEX telah melalui proses fine-tuning dengan LoRA (Low-Rank Adaptation), sebuah teknik canggih yang:

• —Menyesuaikan model dengan data dan perilaku yang lebih spesifik
• —Meningkatkan kualitas respons tanpa perlu melatih ulang seluruh model
• —Membuat model lebih "terarah" dan konsisten dalam menjawab

💾 Kuantisasi 4-bit (Q4KM)

Berkat kuantisasi 4-bit Q4_K_M, model yang awalnya membutuhkan ~14GB RAM (bfloat16) kini dapat berjalan hanya dengan sekitar ~4–5 GB RAM, dengan:

• —Throughput hingga 2.5× lebih cepat dibanding versi full-precision
• —Akurasi yang tetap terjaga meski ukuran jauh lebih kecil
• —Kompatibel dengan CPU-only inference (tanpa GPU!)

🏗️ Arsitektur Modern (Warisan Qwen2.5)

• —Grouped Query Attention (GQA) — efisiensi memori dan inferensi lebih tinggi
• —SwiGLU Activation — performa lebih baik dibanding ReLU standar
• —RoPE + QKV Bias — kemampuan long-context yang optimal
• —Pre-norm RMSNorm — training lebih stabil dan inferensi lebih cepat
• —Dilatih di atas 18 triliun token data berkualitas tinggi

🌐 Jalankan Offline, Tanpa Batas

Format GGUF memungkinkan model ini berjalan 100% lokal di perangkatmu menggunakan tools seperti llama.cpp, Ollama, atau LM Studio — tidak perlu internet, tidak perlu cloud, tidak perlu berlangganan.

📊 Benchmark Performa (Base Architecture)

Berikut adalah performa arsitektur dasar Qwen2.5-7B-Instruct yang menjadi fondasi AXONAI-7B-VERTEX, dibandingkan model kompetitor sekelasnya.

AXONAI-7B-VERTEX unggul di matematika dan coding atas semua kompetitor 8-9B.

🛠️ Cara Penggunaan

Opsi 1: Ollama (Paling Mudah)

# Pull dan jalankan langsung
ollama run axonai-7b-vertex

Opsi 2: LM Studio (GUI, Cocok untuk Pemula)

1. 1.Download LM Studio
2. 2.Cari AXONAI-7B-VERTEX di tab Search
3. 3.Download model Q4KM
4. 4.Klik Load Model → mulai chat!

Opsi 3: llama.cpp (Advanced)

# Clone dan build llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make

# Jalankan model
./main -m AXONAI-7B-VERTEX-Q4_K_M.gguf \
       -p "Kamu adalah asisten AI yang helpful." \
       --ctx-size 4096 \
       --temp 0.7 \
       -n 512

Opsi 4: Python dengan llama-cpp-python

from llama_cpp import Llama

llm = Llama(
    model_path="./AXONAI-7B-VERTEX-Q4_K_M.gguf",
    n_ctx=4096,
    n_threads=8,         # Sesuaikan dengan jumlah core CPU kamu
    n_gpu_layers=0       # Set > 0 jika kamu punya GPU
)

output = llm(
    "Jelaskan cara kerja neural network dengan bahasa sederhana.",
    max_tokens=512,
    temperature=0.7,
    top_p=0.9,
    echo=False
)

print(output["choices"][0]["text"])

💡 Contoh Prompt

Chat Format (Direkomendasikan)

<|im_start|>system
Kamu adalah AXON, asisten AI cerdas buatan AxonLabs. Kamu membantu pengguna dengan ramah, jelas, dan akurat.<|im_end|>
<|im_start|>user
Buatkan fungsi Python untuk menghitung bilangan prima.<|im_end|>
<|im_start|>assistant

Contoh Use Case

# Coding Assistant
prompt = "Tulis REST API sederhana menggunakan FastAPI untuk manajemen todo list."

# Analisis Data  
prompt = "Jelaskan perbedaan antara supervised dan unsupervised learning beserta contohnya."

# Bahasa Indonesia
prompt = "Rangkum artikel berikut dalam 3 poin utama: [artikel]"

# Matematika
prompt = "Selesaikan persamaan kuadrat: 2x² + 5x - 3 = 0. Tunjukkan langkah-langkahnya."

⚙️ Spesifikasi Teknis

💻 Kebutuhan Hardware

Minimum (CPU Only)

Direkomendasikan

Tips Performa

• —Gunakan n_threads sesuai jumlah core CPU fisikmu
• —Jika punya GPU NVIDIA, set n_gpu_layers=35 untuk akselerasi penuh
• —Context size 2048 lebih hemat RAM dibanding 4096

🔄 Changelog & Rencana Pengembangan

v1.0 — VERTEX Release

• —[x] Fine-tuning dengan LoRA
• —[x] 4-bit Quantization (Q4KM)
• —[x] Export ke format GGUF
• —[x] Support Bahasa Indonesia dan Inggris

Roadmap

• —[ ] AXONAI-MoE — Mixture of Experts architecture untuk performa lebih tinggi
• —[ ] Varian quantization tambahan (Q5KM, Q8_0)
• —[ ] System card & evaluation report lengkap
• —[ ] Fine-tune dataset khusus Bahasa Indonesia

⚠️ Batasan & Disclaimer

• —Model ini adalah hasil fine-tuning dan mungkin masih memiliki hallucination pada topik tertentu
• —Tidak disarankan untuk penggunaan medis, hukum, atau keamanan kritis tanpa verifikasi manusia
• —Performa terbaik dicapai dengan prompt yang jelas dan spesifik
• —Model ini dirilis untuk tujuan edukasi dan riset

📄 Lisensi

Dirilis di bawah lisensi Apache 2.0. Bebas digunakan untuk keperluan pribadi, riset, maupun komersial dengan atribusi yang sesuai.

🙏 Acknowledgements

Model ini dibangun di atas fondasi luar biasa dari tim Qwen (Alibaba Cloud) yang telah merilis Qwen2.5-7B-Instruct secara open-source. Terima kasih kepada komunitas llama.cpp, Hugging Face, dan Google Colab yang membuat fine-tuning LLM menjadi mungkin bahkan dari perangkat mobile.

<div align="center">

AXONAI-7B-VERTEX · Dibuat dengan ❤️ oleh Daffa Aditya Pratama · AxonLabs

"AI bukan milik perusahaan besar saja. AI adalah untuk semua."

</div>