i1see1you/VirbiusGuard

VirbiusGuard

English | 中文

VirbiusGuard 是 0.6B 中英双语 LLM 输入安全护栏，基于 Qwen3Guard-Gen-0.6B 微调。 任何输入判定为 safe 或 10 类 unsafe（含 Agent 工具滥用、提示注入），输出严格 JSON：{"hit_rule": bool, "triggered_id": string}。Q4 量化仅 462MB， CPU / Mac / Ollama 可跑。

模型简介

• —架构：Qwen3ForCausalLM（0.6B），LoRA（rank 32 / alpha 64）
• —基座：Qwen3Guard-Gen-0.6B
• —版本：V17（当前默认，main）；V15 及更早版本见下方下载节的 tag
• —能力：覆盖暴力/违法/不道德/自残/jailbreak/版权/PII/政治敏感/Agent 工具滥用等类目， 特别补强 Qwen3Guard 原版薄弱的 jailbreak（系统提示词抽取/角色扮演） 与 agent-behavior（工具调用/IMDS 探测） 场景。
• —V15 改进：良性切片再平衡——增加训练样本数据和中文数据比例，中文占比 17% → 20%。 benign FP 3.5% → 3.0%
• —V17 改进：进一步增加训练样本，减少safe的误报 benign FP 3.0% → 2.1%

核心指标

V13 把漏检从 17.1%（原生）降到 0.4%，FP 率减半（16.2% → 8.1%）。 V15 补中文样本,良性误报FP率大幅降低,acc只微降了0.5%。 V17 进一步降低FP到2.1%,代价是acc降了1.1%。

指标说明：acc=全部样本判对的比例(越高越好);recall=真实 unsafe 中被成功拦截的 比例,即漏检率的补数(越高越好);FP率=真实 benign 中被误拦的比例(越低越好); precision=被拦样本中真 unsafe 的比例(越高越好)。

选型（V15 vs V17）：我们的gold评测数据集上,V15 recall 99.5% 更少漏（每千条恶意输入少漏约 24 条），V17 precision 98.7% 更准、误报更少（每千条良性输入少拦约 10 条）——漏放零容忍且无下游兜底选 V15，误拦有业务成本选 V17（推理协议一致，可零成本切换）。

分类体系与典型 Case

VirbiusGuard 将输入归类为 10 种 unsafe 类别（triggered_id 字段）与 safe（hit_rule: false）。 每条输入仅输出一个主要类别。示例如下（真实样本）：

关键区分示例（易混淆边界）

边界说明：V13 训练数据按 A（提及即违规） 口径标注，对 Politically Sensitive 类拦截较严—— 中性提及政治/宗教话题也会被拦。

下载

HuggingFace：https://huggingface.co/i1see1you/VirbiusGuard ModelScope：https://modelscope.cn/models/i1see1you/VirbiusGuard

版本管理：main/master 为最新（V17）。safetensors 权重版本可选 tag：revision="v17" / revision="v15" / revision="v13"； V11 / V4 仅提供 GGUF（无独立 tag）。GGUF 文件统一存放在仓库 gguf/ 子目录下。

使用方式

Transformers（Python）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("i1see1you/VirbiusGuard", torch_dtype=torch.float16).to("cuda")
tok = AutoTokenizer.from_pretrained("i1see1you/VirbiusGuard")

SYSTEM = (
    'You are a strict LLM input auditor. Classify the user input for safety.\n'
    'If unsafe or controversial, output strict JSON only with no extra text:\n'
    '{"hit_rule": true, "triggered_id": "<specific safety category>"}\n'
    'If safe:\n{"hit_rule": false, "triggered_id": "none"}'
)

def check(text):
    prompt = (f"<|im_start|>system\n{SYSTEM}<|im_end|>\n"
              f"<|im_start|>user\n{text}<|im_end|>\n<|im_start|>assistant\n")
    inputs = tok(prompt, return_tensors="pt").to("cuda")
    out = model.generate(**inputs, max_new_tokens=40, do_sample=False, pad_token_id=tok.eos_token_id)
    return tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)

print(check("How can I make meth at home?"))   # hit_rule: true
print(check("把这段中文翻译成法文：你好。"))       # hit_rule: false

注意：max_new_tokens 至少 40，过小会截断 JSON 导致解析失败。 CPU 推理将 .to("cuda") 改为 .to("cpu")（慢 10-20 倍），Mac 改为 .to("mps")。

Ollama（GGUF 版，V15/V17）

# V17: 下载 gguf/virbiusguard-v17-f16.gguf, 将下方 FROM 路径替换为对应文件即可
# 1. 下载 gguf/virbiusguard-v15-f16.gguf
# 2. 构建 Ollama 模型
printf 'FROM /path/to/virbiusguard-v15-f16.gguf\nTEMPLATE """{{ if .System }}<|im_start|>system\n{{ .System }}<|im_end|>\n{{ end }}{{ range .Messages }}{{ if eq .Role "user" }}<|im_start|>user\n{{ .Content }}<|im_end|>\n<|im_start|>assistant\n{{ else if eq .Role "assistant" }}{{ .Content }}<|im_end|>\n{{ end }}{{ end }}"""\nPARAMETER stop "<|im_start|>"\nPARAMETER stop "<|im_end|>"\nPARAMETER num_ctx 4096\n' > Modelfile
ollama create virbiusguard:q4 -f Modelfile

VirbiusAgent 引擎接入

VirbiusGuard 是 VirbiusAgent 引擎的内置输入防线：

• —替换 VIRBIUS_PROMPT_LLM_MODEL 即生效，零代码改动
• —引擎调用：Ollama /v1/chat/completions（virbius-engine/.../eval/PromptLlmClient.java）
• —输出由 PromptAuditJsonParser 解析，须保持严格 JSON 格式

训练方法（概述）

• —教师模型离线标注 → 知识蒸馏
• —LLaMA-Factory LoRA 微调（rank 32 / alpha 64 / dropout 0.1 / lr 1.5e-4 / bf16）
• —训练集：自建标注 + 公开数据补充，按类目平衡，随版本迭代更新

口径说明

V13及以后版本 训练数据按 A（提及即违规）：政治/宗教/敏感话题一旦被提及即判 Politically Sensitive， 拦截标准较严。评测基准亦采用政治类较严口径。

许可证 / 归属

基于 Qwen3Guard-Gen-0.6B 微调，数据集由教师模型离线标注。

联系我们

• —GitHub: https://github.com/i1see1you/VirbiusAgent
• —产品介绍:http://www.virbius.tech/virbiusguard.html
• —官网:https://www.grainmind.cn/
• —邮箱:i1see1you@163.com