xCloudinfo/Qwen3.8-27B-Uncensored-xCloud

Qwen3.8-27B-Uncensored-xCloud

以 Qwen/Qwen3.8-27B 為底模，去除拒絕方向（abliteration）後的版本， 由 云碩科技（xCloudinfo） 製作。權重為我方自行從官方底模消除拒絕方向產生，非重新包裝任何第三方成品。

方法

依 Arditi 等人（2024）《Refusal in LLMs is mediated by a single direction》： 在網路中段層，以「觸發拒絕的提示」與「正常提示」的啟動向量差估出拒絕方向， 再把此方向從殘差流的寫入矩陣中正交化消除。不做微調、不需額外資料。

• —編輯對象：attention o_proj ＋ MLP down_proj（共 80 個矩陣），強度 0.8。
• —保留不動：多 token 預測（MTP）草稿頭、混合線性注意力（SSM）投影、詞嵌入、視覺塔、lm_head。
• —底模架構：qwen3_5 —— gated-delta 線性注意力與週期性 full-attention 的混合架構， 多模態（image-text-to-text），並含供推測解碼用的 MTP 頭。

行為

在小型紅隊探針上，拒絕率降到 0/4，同時保留一般能力（算術、多語問答）。 本模型為推理模型，會在最終答案前輸出 <think> 區塊。

使用方式 —— 請以「單一裝置」載入

這是混合（SSM／線性注意力）模型。用 device_map="auto" 拆到多張 GPU 會破壞遞迴狀態、輸出亂碼。 請載入到單一裝置：

import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer, BitsAndBytesConfig

name = "xCloudinfo/Qwen3.8-27B-Uncensored-xCloud"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForImageTextToText.from_pretrained(
    name,
    quantization_config=BitsAndBytesConfig(load_in_4bit=True,
                                           bnb_4bit_compute_dtype=torch.bfloat16),
    device_map={"": 0},          # 單一裝置 —— 不要用 "auto"
)

需要 transformers>=5.8，並安裝 flash-linear-attention 與 causal_conv1d 以取得線性注意力的快速核。

負責任使用

移除拒絕方向等於移除一層安全機制。使用者需自行負責這些權重的用途， 並遵守底模的 Apache-2.0 授權與所有適用法律。