CoolFace
Modelpublic

APTO-001/Qwen3.5-9B-SafetyTuned-GGUF

sourceHugging Faceapache-2.0updated 4mo agoView on Hugging Face
0likes51downloads
Model Card

Qwen3.5-9B-SafetyTuned-GGUF

APTO-001/Qwen3.5-9B-SafetyTuned のGGUF量子化版です。llama.cpp等の軽量推論環境でご利用いただけます。

GGUF quantized versions of [APTO-001/Qwen3.5-9B-SafetyTuned](https://huggingface.co/APTO-001/Qwen3.5-9B-SafetyTuned) by APTO, K.K. English version is provided below.

提供形式

File量子化サイズ用途
Qwen3.5-9B-SafetyTuned-Q4_K_M.ggufQ4KM（4-bit）約 5.2 GBMac / CPU 推論
Qwen3.5-9B-SafetyTuned-bf16.ggufBF16（full）約 16.7 GBGPU 推論、最高品質

性能検証結果（主要指標）

指標チューニング前チューニング後Δ
AC Acceptable Rate71.6%74.7%+3.1pt
MT-Bench-ja（対話品質）7.918.01+0.10
SORRY-Bench 拒否率84.4%86.7%+2.3pt
MGSM-ja（数学推論）75.6%76.8%維持

全評価結果と学習手法の詳細は本体モデルの model card をご覧ください。

注意事項

Qwen3.5はDeltaNet ハイブリッドアーキテクチャを採用しています。正しく動作させるためには最新版の llama.cppをご利用ください。

制限事項

本モデルは日本語の安全性向上を主目的に設計されています。一般的なLLMの制約として、ハルシネーション、日本語以外の言語での挙動、医療・法務などの専門的助言としての利用は適切ではありません。

ライセンス

Apache 2.0（ベースモデルと同一）

お問い合わせ

株式会社APTOでは、LLMの安全性チューニングおよび学習データの設計・作成に取り組んでおります。ご関心をお持ちの方はお気軽にお問い合わせください。

  • —Website: https://apto.co.jp/

Qwen3.5-9B-SafetyTuned-GGUF (English)

Overview

GGUF quantized versions of APTO-001/Qwen3.5-9B-SafetyTuned, for use with llama.cpp and compatible lightweight inference environments.

Available Formats

FileQuantizationSizeUse Case
Qwen3.5-9B-SafetyTuned-Q4_K_M.ggufQ4KM (4-bit)~5.2 GBMac & CPU inference
Qwen3.5-9B-SafetyTuned-bf16.ggufBF16 (full)~16.7 GBGPU inference, highest quality

Evaluation Results (key metrics)

MetricBaselineTunedΔ
AC Acceptable Rate71.6%74.7%+3.1pt
MT-Bench-ja (dialogue quality)7.918.01+0.10
SORRY-Bench refusal rate84.4%86.7%+2.3pt
MGSM-ja (math reasoning)75.6%76.8%preserved

For the full evaluation table and training method details, please refer to the parent model card.

Usage

Download

bash
# Q4_K_M (recommended for Mac)
huggingface-cli download APTO-001/Qwen3.5-9B-SafetyTuned-GGUF \
  Qwen3.5-9B-SafetyTuned-Q4_K_M.gguf --local-dir .

# BF16 (highest quality)
huggingface-cli download APTO-001/Qwen3.5-9B-SafetyTuned-GGUF \
  Qwen3.5-9B-SafetyTuned-bf16.gguf --local-dir .

Inference with llama.cpp

bash
# CLI
./llama-cli -m Qwen3.5-9B-SafetyTuned-Q4_K_M.gguf -p "your prompt here" -n 512

# Server
./llama-server -m Qwen3.5-9B-SafetyTuned-Q4_K_M.gguf --port 8080

Notes

The Qwen3.5 architecture uses DeltaNet hybrid attention. Please use the latest version of llama.cpp for correct support.

Limitations

Designed primarily for Japanese-language safety improvement. As with general LLMs, hallucinations may occur, behavior in languages other than Japanese is not specifically tuned, and the model is not intended as professional medical, legal, or financial advice.

License

Apache 2.0 (same as the base model)

Contact

APTO, K.K. designs and creates training data for LLM safety tuning. Please feel free to contact us for related inquiries.

  • —Website: https://apto.co.jp/