CoolFace
Modelpublic

PAUL1122/korean-textbook-finetuned3

sourceHugging Faceapache-2.0updated 1y agoView on Hugging Face
0likes3downloads
Model Card

Korean Textbook Fine-tuned Model

모델 설명

이 모델은 unsloth/gpt-oss-20b를 베이스로 하여 maywell/korean_textbooks 데이터셋으로 파인튜닝된 한국어 교육 전용 모델입니다.

모델 상세 정보

  • —베이스 모델: unsloth/gpt-oss-20b
  • —파인튜닝 데이터셋: maywell/korean_textbooks
  • —훈련 방법: LoRA (Low-Rank Adaptation)
  • —언어: 한국어 (Korean)
  • —용도: 교육 콘텐츠 생성

사용 방법

모델 로드

python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 베이스 모델 로드
base_model = AutoModelForCausalLM.from_pretrained(
    "unsloth/gpt-oss-20b",
    torch_dtype=torch.float16,
    device_map="auto"
)

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "PAUL1122/korean-textbook-finetuned")

# 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("PAUL1122/korean-textbook-finetuned")

추론 예시

python
messages = [
    {"role": "system", "content": "당신은 한국어로 교육 내용을 설명하는 도움이 되는 어시스턴트입니다."},
    {"role": "user", "content": "2의 거듭제곱에 대해 설명해주세요."},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True
).to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=512,
        do_sample=True,
        temperature=0.7,
        top_p=0.9,
        pad_token_id=tokenizer.eos_token_id
    )

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

훈련 상세 정보

  • —훈련 스텝: 30 steps
  • —LoRA rank: 8
  • —LoRA alpha: 16
  • —타겟 모듈: ['qproj', 'gateproj', 'upproj', 'kproj', 'oproj', 'vproj', 'down_proj']
  • —학습률: 자동 설정 (Unsloth 기본값)
  • —배치 크기: 자동 설정
  • —최적화: AdamW
  • —정밀도: Mixed precision (fp16)

성능

이 모델은 한국어 교육 자료 생성에 특화되어 있으며, 다음과 같은 주제에서 우수한 성능을 보입니다:

  • —수학 개념 설명
  • —과학 원리 설명
  • —교육적 내용 생성
  • —한국어 대화

시스템 요구사항

  • —GPU 메모리: 최소 16GB (권장 24GB+)
  • —시스템 RAM: 최소 16GB
  • —Python: 3.8+
  • —주요 라이브러리: transformers, peft, torch

라이선스

이 모델은 베이스 모델의 라이선스를 따릅니다. 자세한 내용은 원본 모델의 라이선스를 확인해주세요.

인용

이 모델을 사용하신다면 다음과 같이 인용해주세요:

Korean Textbook Fine-tuned Model, based on unsloth/gpt-oss-20b
Fine-tuned on maywell/korean_textbooks dataset

제한사항

  • —이 모델은 교육적 목적으로 설계되었습니다
  • —일반적인 대화나 다른 도메인에서는 성능이 제한될 수 있습니다
  • —항상 생성된 내용을 검토하고 검증하시기 바랍니다

관련 링크

연락처

문의사항이 있으시면 이슈를 통해 연락해주세요.