Modelpublic

neureps/warmly-qwen35-2b-gguf

sourceHugging Faceapache-2.0updated 3mo agoView on Hugging Face

0likes23downloads

Model Card

Warmly — Qwen3.5-2B GGUF (Korean-calibrated imatrix)

1인용 오프라인 SNS 앱 온기(Warmly)의 온디바이스 댓글 생성 모델입니다. Qwen/Qwen3.5-2B를 한국어 SNS 댓글 도메인 텍스트(영어 캡션 + 한국어 페르소나 댓글 372샘플)로 캘리브레이션한 imatrix로 Q4KM 양자화했습니다. MTP 레이어는 제거(--no-mtp)했습니다.

파일	크기	용도
`Qwen3.5-2B-Q4_K_M.gguf`	~1.2GB	텍스트 생성 (캡션→댓글, 답글)
`mmproj-Q8_0.gguf`	~348MB	비전 프로젝터 (이미지→캡션)
`imatrix.dat` / `calib.txt`	—	재현용 캘리브레이션 산출물

실측 (2026-07-13, 사진 5장 × 페르소나 4명)

—자연스러운 한국어 댓글: ~15/20 (F16 ~16/20, 일반 Q4KM ~12-13/20)
—mmproj Q8_0은 F16 대비 캡션 출력이 단어 단위로 동일 (greedy 비교)
—Qwen3.5는 enable_thinking: false 필수 (미지정 시 전 토큰이 reasoning으로 소모)

사용

bash

llama-server -m Qwen3.5-2B-Q4_K_M.gguf --mmproj mmproj-Q8_0.gguf --port 8081