Modelpublic

gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter

sourceHugging Faceotherupdated 9mo agoView on Hugging Face

2likes17downloads

Model Card

🏆 LFM2-v8-RL-10k Adapter (SOTA)

GRPO + COMET/CHrF++ 강화학습으로 훈련된 한영/영한 양방향 번역 LoRA Adapter

⚠️ 이 Adapter는 반드시 Base 모델과 함께 사용해야 합니다! Base Model: gyung/lfm2-1.2b-koen-mt-v6.4-merged

🏅 핵심 성과

—1.2B 모델이 4B 모델을 압도! Gemma-3 (4B)보다 1.78 CHrF++ 높음
—단 400 Step (0.78 Epoch)만의 학습으로 SOTA 달성
—존댓말 일관성 완벽: 1012개 샘플 전체에서 "~합니다" 어미 일관 적용
—Google Colab T4 무료 GPU로 학습 가능

📊 성능 (Flores-200 Benchmark, 1012 Samples)

Rank	Model	CHrF++	BLEU	Params
1	Google Translate	39.27	18.18	- (API)
2	🏆 LFM2-v8-RL (Step 400)	34.61	13.21	1.2B
3	Gemma-3-4B-it-GGUF	32.83	11.36	4B
4	LFM2-1.2B (Base)	27.23	6.43	1.2B
5	Qwen3-4B-GGUF (Base)	25.62	-	4B

✅ 1.2B 모델로 4B 모델들을 압도적으로 능가!

📈 학습 과정별 성능 향상

Step	Epoch	CHrF++	BLEU	비고
0	0.00	33.53	12.63	v6.4 Base
200	0.39	34.10	12.93	+0.57 향상
300	0.59	34.19	13.24	Historic High
400	0.78	34.61	13.21	🏆 SOTA

✨ v8의 강점

1.존댓말/문체 일관성: "~합니다", "~했습니다" 어미가 전 샘플에 걸쳐 일관되게 적용
2.자연스러운 문장 구조: "타스마니아 주 데본포트의 메이버 병원 자금을..." 같은 복잡한 문장도 자연스럽게 처리
3.문맥 인식 번역: "While"을 문맥에 따라 "반면", "동안" 등으로 유연하게 번역
4.전문 용어 처리: "rachis"를 "우축"으로 정확하게 번역

⚠️ 알려진 한계

1.고유명사 환각: "George W. Bush" → "조지 워싱턴"으로 잘못 번역 (베이스 모델에서 상속된 편향)
2.일부 전문 용어 오역: 특정 과학 용어에서 오류 발생 가능

💡 해결 방안: DPO를 통한 환각 교정 예정 (v9)

🔧 사용법

1. Adapter 로드 (추천)

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Base 모델 로드
base_model = AutoModelForCausalLM.from_pretrained(
    "gyung/lfm2-1.2b-koen-mt-v6.4-merged",
    device_map="auto",
    torch_dtype="auto"
)
tokenizer = AutoTokenizer.from_pretrained("gyung/lfm2-1.2b-koen-mt-v6.4-merged")

# Adapter 로드 및 병합
model = PeftModel.from_pretrained(base_model, "gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter")
model = model.merge_and_unload()  # 추론 속도 향상

2. 번역 실행

python

# 영어 → 한국어
messages = [
    {"role": "system", "content": "Translate to Korean."},
    {"role": "user", "content": "The quick brown fox jumps over the lazy dog."}
]

# 한국어 → 영어
messages = [
    {"role": "system", "content": "Translate to English."},
    {"role": "user", "content": "빠른 갈색 여우가 게으른 개를 뛰어넘습니다."}
]

input_ids = tokenizer.apply_chat_template(
    messages, return_tensors="pt", add_generation_prompt=True
).to(model.device)

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05
)

translation = tokenizer.decode(outputs[0][input_ids.shape[1]:], skip_special_tokens=True)
print(translation)

📈 학습 상세

항목	값
Base Model	gyung/lfm2-1.2b-koen-mt-v6.4-merged
Method	GRPO (Group Relative Policy Optimization)
Reward	COMET + CHrF++
Dataset Size	10,000 samples (양방향)
Training Steps	400
Effective Batch Size	128
LoRA Rank	32
LoRA Alpha	64
Target Modules	all-linear

🔧 학습 방법론

"Data-Centric + Progressive Learning" 파이프라인:

1.SFT (Step 1): LFM2-1.2B 베이스 → 20만개 + 8.8만개 고품질 번역 데이터 학습 → v6.4
2.GRPO (Step 2): v6.4 → 10k 양방향 RL 데이터 + COMET/CHrF++ 리워드 → v8 (SOTA)

💡 핵심: 무작정 데이터를 늘리는 게 아니라, 약점을 분석하고 타겟팅된 데이터를 추가

🚀 향후 계획

1.추가 RL 학습: 1,200+ Step까지 학습 예정 (ProRL 논문 권장)
2.DPO로 환각 수정: "George W. Bush" 등 고유명사 오역 교정
3.DuPO 적용: 역번역 기반 자기 검증 (ByteDance 논문)
4.LFM2-2.6B-Exp: 새로운 베이스 모델 기반 학습

🔗 관련 링크

—Base Model (v6.4): gyung/lfm2-1.2b-koen-mt-v6.4-merged
—Previous Adapter (v5): gyung/lfm2-1.2b-koen-mt-v5-rl-10k-adapter
—GitHub Repository: LFM2-KoEn-Tuning
—Liquid AI Official Cookbook: English-to-Korean Example

📝 Citation

bibtex

@misc{lfm2-koen-v8-rl,
  author = {gyung},
  title = {LFM2-1.2B-KoEn-MT-v8-RL: GRPO-Enhanced Bidirectional Korean-English Translation Adapter},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter}
}

📄 License

This model inherits the LFM Open License v1.0 from the base LFM2 model.