DoreCmon/privacyguard

pip install torch transformers peft

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
import torch

# 加载基座模型
base_model = "Qwen/Qwen2.5-3B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(base_model, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base_model, dtype=torch.float16, trust_remote_code=True)

# 加载 LoRA adapter
model = PeftModel.from_pretrained(model, "DoreCmon/privacyguard")
model = model.eval()

SYSTEM_INSTRUCTION = (
    "你是一个隐私保护助手。请完成以下两步：\n"
    "1. 用1句话（不超过30字）精准概括用户的任务意图，不要包含任何个人信息。\n"
    "2. 围绕用户任务对文本中的个人身份信息进行虚构化改写，"
    "保留对任务有用的信息，弱化无关细节，确保改写后自洽且不可反推。\n\n"
    "输出格式：\n【任务摘要】摘要内容\n【脱敏文本】改写后的完整文本"
)

text = "帮我写一封推荐信\n\n张伟，2017年浙大毕业，现任字节跳动高级工程师，手机13812345678"
prompt = f"### 指令:\n{SYSTEM_INSTRUCTION}\n\n### 输入:\n{text}\n\n### 输出:\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
with torch.no_grad():
    output_ids = model.generate(**inputs, max_new_tokens=1024, do_sample=False)

result = tokenizer.decode(output_ids[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
print(result)

【任务摘要】用户需要为候选人撰写求职推荐信

【脱敏文本】李晨，2015年华中科技大学毕业，现任星云科技高级工程师，手机15987654321...