cywellai/privacy-counsel-ko-8b

pip install transformers torch accelerate
# LoRA adapter 직접 로드 시:
pip install peft

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "cywellai/privacy-counsel-ko-8b"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)

SYSTEM_PROMPT = """당신은 대한민국 개인정보보호법 전문 상담사입니다.
질문에 대해 [판단], [법적 근거], [실무 조치], [추가확인질문] 형식으로 구조화된 답변을 제공합니다.
모든 답변은 관련 법조항을 정확히 인용하고, 조건부 표현을 사용하여 법적 판단의 뉘앙스를 전달합니다."""

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": "소규모 온라인 쇼핑몰에서 고객 이름과 전화번호를 수집하려 합니다. 어떤 절차가 필요한가요?"},
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=1500,
    temperature=0.5,
    top_p=0.9,
    repetition_penalty=1.0,
    do_sample=True,
)

response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(response)

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base_model_name = "Qwen/Qwen3-8B"
adapter_name = "cywellai/privacy-counsel-ko-8b-lora"

tokenizer = AutoTokenizer.from_pretrained(base_model_name, trust_remote_code=True)
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_name,
    torch_dtype="bfloat16",
    device_map="auto",
    trust_remote_code=True,
)
model = PeftModel.from_pretrained(base_model, adapter_name)

# 이후 동일한 방식으로 추론

from vllm import LLM, SamplingParams

llm = LLM(
    model="cywellai/privacy-counsel-ko-8b",
    trust_remote_code=True,
    max_model_len=2048,
    gpu_memory_utilization=0.5,
)

sampling = SamplingParams(temperature=0.5, repetition_penalty=1.0, max_tokens=1500)

# tokenizer.apply_chat_template()으로 프롬프트 구성 후
outputs = llm.generate([prompt], sampling)
print(outputs[0].outputs[0].text)

[판단]
개인정보 수집 시 정보주체에게 고지해야 하는 필수 항목은 수집 목적, 수집 항목,
보유 및 이용 기간, 동의 거부권 및 거부 시 불이익 등을 포함해야 합니다.

[법적 근거]
• 원칙: 개인정보 보호법 제15조(개인정보의 수집·이용)에 따라 개인정보를
  수집하거나 이용할 때 정보주체에게 고지해야 합니다.
• 조건(트리거): 수집 목적, 수집 항목, 보유 및 이용 기간, 동의 거부권 및
  거부 시 불이익 등의 내용을 명확히 고지해야 합니다.
  (개인정보 보호법 제15조, 시행령 제17조)
• 예외/주의: 다만, 법률에 특별한 규정이 있는 경우나 정보주체의 권리·이익을
  침해하지 않는 범위에서 고지를 생략할 수 있습니다.

[실무 조치]
• 즉시: 수집 목적, 항목, 보유기간, 동의 거부권 등의 내용을 문서화하여 준비
• 단기: 정보주체에게 해당 내용을 명확히 고지하고 동의를 받음
• 재발방지: 개인정보 수집 및 이용 절차를 정기적으로 검토하고 필요 시 개선

[추가확인질문]
• 수집하려는 개인정보의 종류와 목적은 무엇인가요?
• 수집한 개인정보의 보유 및 이용 기간은 어떻게 설정되어 있나요?
• 동의 거부 시 정보주체에게 발생할 수 있는 불이익은 무엇인가요?

train.jsonl (9,009건)
├── v3_final 원본 (품질 필터 통과): 5,213건 (57.9%)
├── Phase3-v2 합성 (72B 교사 모델): 1,835건 (20.4%)
├── Phase3-v3 합성 (72B 교사 모델): 1,524건 (16.9%)
└── v4_500 (정확도 타겟 보강):       437건 ( 4.9%)

Architecture: Qwen3ForCausalLM
Hidden Size: 4,096
Num Layers: 36
Attention Heads: 32 (GQA, KV Heads: 8)
Head Dimension: 128
Intermediate Size: 12,288
Activation: SiLU
Vocab Size: 151,936
Max Position Embeddings: 40,960
RoPE Theta: 1,000,000
Dtype: bfloat16

@misc{privacy-counsel-ko-8b-v4,
  title   = {privacy-counsel-ko-8b (v4-rebalanced):
             A Fine-tuned Qwen3-8B for Korean PIPA Consulting},
  author  = {CywellAI},
  year    = {2026},
  note    = {LoRA SFT on Qwen3-8B for Korean Personal Information Protection Act Q\&A.
             5-axis 15-point evaluation: 14.38/15, Gold 96\% on 150-question gold set.
             Outperforms GPT-4o, Solar Pro, Gemini Pro on task-specific benchmark.},
  url     = {https://huggingface.co/cywellai/privacy-counsel-ko-8b}
}