jonghhhh/fact-worthy-check

🔍 FactWorthyCheck Pro

AI-powered Professional Fact-Worthy Claim Detection & Fact-Checking System

FactWorthyCheck Pro는 단순한 질의응답을 넘어, 텍스트 내에서 검증 가치가 있는 주장(Fact-worthy Claims)을 스스로 식별하고, Google Search Grounding 기술을 통해 실시간 웹 증거를 수집하여 전문 기자 페르소나로 엄격한 팩트체크를 수행하는 자동화 에이전트 시스템입니다.

🎯 프로젝트 취지 (Intent)

가짜 뉴스와 정보 과잉의 시대에 모든 문장을 검증하는 것은 비효율적입니다. 본 프로젝트는 다음 세 가지 목적을 달성하기 위해 개발되었습니다:

1. 1.선택과 집중: BERT(KcELECTRA) 모델을 통해 단순 의견이나 감탄사가 아닌, 사회적 영향력이 있고 사실 관계 확인이 필요한 문장만 선별합니다.
2. 2.실시간성 및 근거 중심: LLM의 내부 학습 지식(Hallucination 위험)에 의존하지 않고, 반드시 실시간 검색 결과(2024-2025 최신 정보)와 공식 URL Context를 근거로 사용합니다.
3. 3.전문적 신뢰도: 팩트체크 전문 기자의 검증 절차와 6단계 판정 기준을 적용하여 투명하고 논리적인 리포트를 제공합니다.

🛠 개발 과정 (Development Process)

본 프로젝트는 단계별 고도화 과정을 거쳐 완성되었습니다:

1. 1.Check-worthy 모델 구축: CLEF CheckThat! Lab 데이터를 활용하여 한국어에 특화된 KcELECTRA 기반의 주장 감지 모델을 미세 조정(Fine-tuning)했습니다.
2. 2.에이전트 워크플로우 설계: LangGraph를 도입하여 '문장 분리 → 판단 → 검색 → 검증 → 결과 통합'의 상태 관리 루프를 구현했습니다.
3. 3.Skill 패턴 적용: 검색 및 분석 로직을 독립적인 Skill 모듈(WebSearchCollector)로 분리하여 코드의 유지보수성과 확장성을 높였습니다.
4. 4.Google Search Grounding 통합: Gemini의 공식 검색 도구를 사용하여 답변의 근거가 되는 실제 URL 주소를 리포트에 포함시켰습니다.

✨ 핵심 기능 (Key Features)

• —BERT 기반 주장 감지: 90%에 가까운 정확도로 팩트체크가 필요한 문장을 자동 선별.
• —Google Search Grounding: 검색 결과의 URL Context를 직접 참조하여 근거의 투명성 확보.
• —최신성 우선 지침: 2024-2025년 최신 데이터를 최우선적으로 반영하는 검색 알고리즘.
• —전문 기자 페르소나: 엄격한 4단계 검증 절차(주장 분해, 증거 확인, 교차 검증, 맥락 확인) 적용.
• —6단계 판정 시스템: 사실, 대체로 사실, 반은 사실, 대체로 거짓, 거짓, 판단 불가.

🏗 시스템 아키텍처 (Architecture)

에이전트는 LangGraph를 기반으로 다음과 같이 순차적으로 작동합니다:

1. 1.Init: 입력 텍스트를 문장 단위로 분리하고 상태를 초기화합니다.
2. 2.Analyze (Skill): BERT 모델이 각 문장의 팩트체크 필요성(Check-worthy)을 점수화합니다.
3. 3.Verify (Skill): 가치가 높은 문장에 대해 Google Search Grounding을 가동, 최신 정보와 URL Context를 수집합니다.
4. 4.Report: 전문 기자 지침에 따라 최종 6단계 판정 및 근거 리포트를 작성합니다.

🚀 시작하기 (Installation & Setup)

1. 환경 구성

Python 3.10 이상 환경에서 가상환경을 생성하고 의존성을 설치합니다.

python -m venv .venv
source .venv/bin/activate  # Windows: .\.venv\Scripts\activate
pip install -r requirements.txt

2. 환경 변수 설정

.env 파일을 생성하고 필요한 API 키를 입력합니다.

GEMINI_API_KEY="your_api_key_here"
LLM_MODEL="gemini-2.0-flash"

💻 사용법 (Usage)

CLI 모드

터미널에서 직접 텍스트를 입력하거나 파일을 지정하여 실행합니다.

python main.py --text "검증하고 싶은 문장 입력" --bert-threshold 0.6

Web UI 모드

FastAPI 기반의 웹 인터페이스를 실행하여 브라우저에서 편리하게 사용할 수 있습니다.

python app.py

이후 http://localhost:8000에 접속하십시오.

⚖️ 판정 기준 및 정의 (Verdict Standards)

전문 기자 에이전트는 다음 기준에 따라 엄격하게 판정합니다:

• —사실: 충분한 긍정 근거만 존재하고 부정 근거가 없는 경우
• —대체로 사실: 긍정 근거가 우세하나 일부 부정 근거가 존재하는 경우
• —사실 반 거짓 반: 긍정과 부정 근거가 절반씩 혼재된 경우
• —대체로 거짓: 부정 근거가 우세하나 일부 긍정 근거가 존재하는 경우
• —거짓: 논리적 근거가 전혀 없는 경우
• —판단 불가: 자료 부족 또는 판정이 불가능한 경우

📄 라이선스

본 프로젝트는 MIT License를 따릅니다.