CoolFace
Modelpublic

NullpoLab/Qwen3.5-9B-Heretic-ARA-Refusals5-GGUF

sourceHugging Faceapache-2.0updated 6mo agoView on Hugging Face
0likes273downloads
Model Card

Qwen3.5-9B-Heretic-ARA-Refusals5 GGUF

NullpoLab/Qwen3.5-9B-Heretic-ARA-Refusals5 のGGUF量子化版です。

提供ファイル

ファイル名量子化サイズ推奨用途
Qwen3.5-9B-heretic-ARA-Refusals5-BF16.ggufBF1616.7 GB高精度・VRAM十分な場合
Qwen3.5-9B-heretic-ARA-Refusals5-Q8_0.ggufQ8_08.9 GB高品質・メモリ余裕あり
Qwen3.5-9B-heretic-ARA-Refusals5-Q6_K.ggufQ6_K6.9 GB高品質・バランス重視
Qwen3.5-9B-heretic-ARA-Refusals5-Q5KM.ggufQ5KM6.0 GB品質・サイズのバランス
Qwen3.5-9B-heretic-ARA-Refusals5-Q4KM.ggufQ4KM5.2 GB一般用途・軽量重視

概要

Qwen/Qwen3.5-9B を Heretic v1.2.0 の Arbitrary-Rank Ablation (ARA) 手法を用いて検閲解除したモデルです。

Abliteration 手法

ARA (Arbitrary-Rank Ablation) は Heretic PR #211 で導入された新しい abliteration 手法です。従来の方向性アブリタレーションとは異なり、PyTorch フックを使用して各トランスフォーマーモジュールの入出力テンソルをキャプチャし、L-BFGS による直接的な行列最適化でモジュールを修正します。

最適化は以下の3つの競合する目標のバランスを取ります：

  1. 1.「無害な」プロンプトに対する出力をできる限り変化させない
  2. 2.「有害な」プロンプトに対する出力を「無害な」プロンプトの出力に近づける
  3. 3.「有害な」プロンプトに対する出力を元の状態から遠ざける（より強いステアリングのための過補正）

Abliteration パラメータ

パラメータ値
start_layer_index8
end_layer_index31
preserve_good_behavior_weight0.9665
steer_bad_behavior_weight0.0001
overcorrect_relative_weight1.1582
neighbor_count15

性能

指標このモデル元のモデル ([Qwen/Qwen3.5-9B](https://huggingface.co/Qwen/Qwen3.5-9B))
拒否率5/10084/100
KL発散0.02390 (定義上)
評価は mlabonne/harmful_behaviors（テスト 100 プロンプト）で拒否率を、mlabonne/harmless_alpaca（テスト 100 プロンプト）で KL 発散を計測しました。

注記

  • —このモデルは研究およびクリエイティブライティング目的を想定しています
  • —Heretic の ARA ブランチ（PR #211）は現在(2026年3月20日) Draft 状態でメインブランチにまだマージされていません
  • —拒否率の評価は英語プロンプトのみで実施しています。日本語プロンプトでの動作は異なる場合があります
  • —ベースモデル: NullpoLab/Qwen3.5-9B-Heretic-ARA-Refusals5
  • —Heretic: p-e-w/heretic