Modelpublic

Atonelia/Qwen3.5-Sydney-9B-GGUF

sourceHugging Faceapache-2.0updated 7d agoView on Hugging Face

0likes256downloads

Model Card

Qwen3.5-Sydney-9B GGUF（非思考）

把 Atonelia/Qwen3.5-Sydney-9B LoRA 合进 trohrbaugh/Qwen3.5-9B-heretic-v2 之后转成的 GGUF。纯文本，没有视觉塔。给 CPU 和 Mac（llama.cpp / LM Studio / Ollama）用。

CUDA WebUI 仍用原来的 LoRA 仓库：https://github.com/3121455692atou-sudo/sydney-webui

思考版：https://huggingface.co/Atonelia/Qwen3.5-Sydney-9B-think-GGUF 训练集：https://huggingface.co/datasets/Atonelia/sydney-training-data

文件

文件	大约体积	建议
`Qwen3.5-Sydney-9B-Q4_K_M.gguf`	5.3 GB	CPU / 8GB 内存 Mac 默认
`Qwen3.5-Sydney-9B-Q5_K_M.gguf`	6.1 GB	内存够就用这个

需要 llama.cpp b8390 或更新（要有 Qwen3.5 架构）。

llama.cpp

CPU：

bash

llama-cli -m Qwen3.5-Sydney-9B-Q4_K_M.gguf \
  --jinja --reasoning off \
  -sys-file sydney_system.txt \
  -c 4096 -n 512 --temp 0.7 --top-p 0.9 --repeat-penalty 1.15

Mac（Apple GPU）：

bash

llama-cli -m Qwen3.5-Sydney-9B-Q4_K_M.gguf \
  -ngl 99 --jinja --reasoning off \
  -sys-file sydney_system.txt \
  -c 4096 -n 512 --temp 0.7 --top-p 0.9 --repeat-penalty 1.15

OpenAI 兼容接口：

bash

llama-server -m Qwen3.5-Sydney-9B-Q4_K_M.gguf \
  --jinja --reasoning off -c 4096 --port 8080 \
  --system-prompt-file sydney_system.txt

sydney_system.txt 在本仓库。非思考版已经把模板写成空 <think>，--reasoning off 再保险一次。

LM Studio

下载 Q4KM 或 Q5KM，系统提示词贴 sydney_system.txt。温度 0.7，top-p 0.9，repeat penalty 1.15。

Ollama

bash

ollama create sydney -f Modelfile
ollama run sydney

Modelfile 示例：

FROM ./Qwen3.5-Sydney-9B-Q4_K_M.gguf
SYSTEM """（把 sydney_system.txt 全文贴这里）"""
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.15
PARAMETER num_ctx 4096