Modelpublic

gyung/lfm2-1.2b-koen-mt-v6.4-merged

sourceHugging Faceotherupdated 9mo agoView on Hugging Face

1likes14downloads

Model Card

🌊 LFM2-1.2B-KoEn-MT-v6.4-merged

LiquidAI LFM2-1.2B 기반 고품질 한영/영한 양방향 번역 모델 (SFT)

🎯 v8 RL Adapter의 Base Model입니다. RL Adapter: gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter (CHrF++ 34.61 🏆)

📊 벤치마크 (Flores-200, 1012 Samples, En→Ko)

Rank	Model	CHrF++	BLEU	Params
1	Google Translate	39.27	18.18	- (API)
2	LFM2-v8-RL (with Adapter)	34.61	13.21	1.2B
3	LFM2-v6.4-merged (This)	33.53	12.63	1.2B
4	Gemma-3-4B-it-GGUF	32.83	11.36	4B
5	LFM2-1.2B (Base)	27.23	6.43	1.2B

✅ v6.4는 GRPO 학습에 최적화된 안정적인 베이스 모델

🔧 v6.4의 특징

✨ 강점

1.Quote Bug 완전 해결: v6.1/v6.3에서 발생하던 "" 패턴이 완전히 사라짐
2.자연스러운 문장 구조: 이전 버전보다 현대적이고 유려한 번역
3.양방향 번역: EN ↔ KO 모두 단일 모델로 지원
4.RL 학습 최적 베이스: v8 GRPO 학습에서 검증된 안정성

⚠️ 알려진 한계

1.Tone Inconsistency: 존댓말/반말이 섞여 나오는 경우 있음 (→ RL로 해결됨)
2.일부 고유명사 환각: 베이스 모델에서 상속된 편향 존재

💡 권장: 프로덕션 환경에서는 RL Adapter가 적용된 v8 사용 권장

🚀 사용법

기본 로드

python

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "gyung/lfm2-1.2b-koen-mt-v6.4-merged"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype=torch.float16
)

영어 → 한국어 번역

python

messages = [
    {"role": "system", "content": "Translate to Korean."},
    {"role": "user", "content": "The training is progressing smoothly."}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    return_tensors="pt",
    add_generation_prompt=True
).to(model.device)

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05
)

decoded = tokenizer.decode(outputs[0][input_ids.shape[1]:], skip_special_tokens=True)
print(decoded)
# 출력: 학습이 순조롭게 진행되고 있습니다.

한국어 → 영어 번역

python

messages = [
    {"role": "system", "content": "Translate to English."},
    {"role": "user", "content": "오늘 날씨가 정말 좋습니다."}
]

# 동일한 generate 코드 사용
# 출력: The weather is really nice today.

📈 학습 상세

2단계 커리큘럼 학습

Phase	Dataset	Samples	Focus
Phase 1	v6-200k	200,000	일반 도메인 + 관용구
Phase 2	v6.1-80k (Filtered)	80,611	CometKiwi > 0.85 고품질

학습 설정

항목	값
Base Model	LiquidAI/LFM2-1.2B
Method	Full Fine-tuning (SFT)
Total Steps	~4,000
Final Loss	1.2429
Token Accuracy	71.60%
Hardware	Kaggle T4 x 2
Optimizer	pagedadamw8bit
Learning Rate	5e-6 (Cosine Decay)

학습 로그 (Phase 2)

Step	Loss	Token Acc	비고
750	1.28	-	-
1500	1.2578	71.27%	Healthy
3000	1.2506	71.47%	Stable
4000	1.2429	71.60%	Final

🔗 관련 링크

—RL Adapter (v8): gyung/lfm2-1.2b-koen-mt-v8-rl-10k-adapter
—Previous SFT (v6.1): gyung/lfm2-1.2b-koen-mt-v6.1-curriculum
—Training Dataset: gyung/lfm2_koen_v6_sft_200k
—GitHub Repository: LFM2-KoEn-Tuning

📝 Citation

bibtex

@misc{lfm2-koen-v6.4,
  author = {gyung},
  title = {LFM2-1.2B-KoEn-MT-v6.4: SFT-Enhanced Bidirectional Korean-English Translation Model},
  year = {2024},
  publisher = {Hugging Face},
  url = {https://huggingface.co/gyung/lfm2-1.2b-koen-mt-v6.4-merged}
}

📄 License

이 모델은 Liquid AI LFM Open License v1.0을 따릅니다.

—허용: 학술 연구 및 개인적 사용
—상업적 이용: 연 매출 1,000만 달러 미만 무료