Atonelia/Qwen3.5-Sydney-9B-think-GGUF

Qwen3.5-Sydney-9B-think GGUF（思考）

把 Atonelia/Qwen3.5-Sydney-9B-think LoRA 合进 trohrbaugh/Qwen3.5-9B-heretic-v2 之后转成的 GGUF。纯文本。回复会先写 <think>...</think>。

非思考版：https://huggingface.co/Atonelia/Qwen3.5-Sydney-9B-GGUF 训练集：https://huggingface.co/datasets/Atonelia/sydney-training-data

文件

需要 llama.cpp b8390 或更新。

llama.cpp

llama-cli -m Qwen3.5-Sydney-9B-think-Q4_K_M.gguf \
  --jinja --reasoning on \
  -sys-file sydney_system.txt \
  -c 4096 -n 512 --temp 0.7 --top-p 0.9 --repeat-penalty 1.15

Mac 加 -ngl 99。HTTP：

llama-server -m Qwen3.5-Sydney-9B-think-Q4_K_M.gguf \
  --jinja --reasoning on -c 4096 --port 8080 \
  --system-prompt-file sydney_system.txt

sydney_system.txt 在本仓库。