Modelpublic

oldradio2511/llama3.1-8b-customer-support-gguf

sourceHugging Facellama3.1updated 3mo agoView on Hugging Face

0likes22downloads

Model Card

Llama 3.1 8B — Customer Support (GGUF)

Built with Llama

โมเดล GGUF (quantized) fine-tune จาก `unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit` บน dataset บทสนทนา customer support จาก Twitter (4 แบรนด์: AmazonHelp, AppleSupport, sprintcare, VerizonSupport) แปลงเป็น GGUF สำหรับรันบน llama.cpp, Ollama, LM Studio และเครื่องมือที่รองรับ GGUF อื่นๆ

รูปแบบอื่นของโมเดลนี้:

—โมเดลเต็มแบบ merge แล้ว (16-bit): `oldradio2511/llama3.1-8b-customer-support-merged`
—LoRA adapter อย่างเดียว: `oldradio2511/llama3.1-8b-customer-support-lora`

วิธีใช้งาน

Ollama:

bash

ollama run hf.co/oldradio2511/llama3.1-8b-customer-support-gguf

llama.cpp:

bash

./llama-cli -hf oldradio2511/llama3.1-8b-customer-support-gguf -p "My package hasn't arrived yet, what should I do?"

ข้อจำกัด

—โมเดลอาจ "แต่ง" ลิงก์หรือรายละเอียดที่ไม่มีอยู่จริง (hallucination) — ควรมี guardrail กรองก่อนใช้งานจริงกับลูกค้า
—เทรนด้วยข้อมูลผสม 4 แบรนด์ ผ่าน system prompt ระบุชื่อแบรนด์ — คุณภาพการแยกโทนของแต่ละแบรนด์ขึ้นกับความชัดเจนของ system prompt ที่ใช้ตอน inference
—Quantization ทำให้คุณภาพคำตอบลดลงเล็กน้อยเทียบกับเวอร์ชัน merged 16-bit เต็ม

License

โมเดลนี้ fine-tune ต่อจาก Meta Llama 3.1 จึงอยู่ภายใต้ Llama 3.1 Community License การใช้งาน/แจกจ่ายต่อต้องปฏิบัติตามเงื่อนไขของสัญญานี้ รวมถึง:

—แสดงข้อความ "Built with Llama" (แสดงไว้ด้านบนของ README นี้แล้ว)
—แนบไฟล์ `NOTICE` และ `LICENSE` มาพร้อม repo นี้
—ปฏิบัติตาม Acceptable Use Policy ของ Meta

สัญญาฉบับเต็ม: https://llama.com/llama3_1/license/