wanda222/n8n-workflow-evaluator

🤖 n8n 워크플로우 자동 심사 시스템

n8n 워크플로우와 프로젝트 제출물을 자동으로 평가하는 시스템입니다.

📊 평가 항목

총점: 80점

1. 1.기술적 완성도 (15점)
2. 2.구조 완결성 & 모듈화 (5점)
3. 3.데이터·스키마 일관성 (5점)
4. 4.분기/예외 처리 (5점)

1. 1.업스테이지 제품 활용도 (15점)
2. 2.API 사용 적합성 (5점)
3. 3.Prompt/System 설계 (5점)
4. 4.기능 조합·오케스트레이션 (5점)

1. 1.실용성 (30점)
2. 2.실제 업무 적용 가능성 (10점)
3. 3.자동화 효과 및 사용자 편의성 (10점)
4. 4.사용자 편의성 (10점)

1. 1.창의성 / 문제 해결 접근법 (20점)
2. 2.문제 정의의 독창성 (10점)
3. 3.솔루션 구성의 참신함 (10점)

🚀 사용 방법

1. 1.OpenAI API Key 입력 (사이드바)
2. 2.GPT-4o를 사용하여 평가를 수행합니다
3. 3.API Key는 저장되지 않으며 세션 동안만 사용됩니다

1. 1.CSV 파일 업로드 (.csv만 허용)
2. 2.프로젝트 제출 정보가 포함된 파일
3. 3.필수 컬럼: 제출 팀 명, 프로젝트명, 문제 정의 등

1. 1.ZIP 파일 업로드 (.zip만 허용)
2. 2.워크플로우 JSON 파일들이 포함된 압축 파일
3. 3.단일 워크플로우: 1개의 JSON 파일
4. 4.여러 워크플로우: 여러 JSON 파일 또는 ZIP 파일 (ZIP 파일 내 여러 JSON 포함 가능)

1. 1.평가 시작 버튼 클릭
2. 2.평가 진행 시간은 팀 수에 따라 다름 (수 분 ~ 수십 분)

1. 1.결과 확인 및 다운로드
2. 2.상위 10개 팀 확인
3. 3.전체 결과 CSV 다운로드

⚠️ 주의사항

• —API 비용: OpenAI API 호출 시 비용이 발생합니다
• —파일 형식:
• —CSV: .csv 확장자만 허용
• —ZIP: .zip 확장자만 허용
• —중복 제출: 각 팀은 정확히 1개의 JSON 파일만 제출해야 합니다
• —평가 시간: 팀 수가 많을 경우 시간이 오래 걸릴 수 있습니다

🔧 기술 스택

• —Frontend: Streamlit
• —LLM: OpenAI GPT-4o
• —평가 기준: 커스텀 심사 기준 (evaluation_criteria.py)
• —언어: Python 3.10+

📝 파일 구조 요구사항

CSV 파일 필수 컬럼

• —제출 팀 명
• —1. 프로젝트명을 작성해 주세요.
• —1-1. 프로젝트를 한 문장으로 설명해 주세요.
• —1-2. 문제 정의
• —1-3. 문제 해결
• —4. 핵심 기능

ZIP 파일 구조

workflow.zip
├── 팀1.json
├── 팀2.json
└── 팀3.json

또는

workflow.zip
├── 팀1_workflow.json
├── 팀2_workflow.json
└── 팀3_workflow.json

🎯 평가 프로세스

1. 1.데이터 전처리: 중복 제출 제거 (최신 제출만 유지)
2. 2.워크플로우 추출: ZIP 파일에서 JSON 파일 추출
3. 3.팀별 평가:
4. 4.기술적 완성도 평가 (1차 + 재검토)
5. 5.업스테이지 제품 활용도 평가 (1차 + 재검토)
6. 6.실용성 평가 (1차 + 재검토)
7. 7.결과 집계: 총점 계산 및 순위 정렬
8. 8.결과 출력: CSV 파일 생성 및 다운로드

📞 문제 해결

API 키 오류

• —OpenAI API 키가 올바른지 확인하세요
• —API 키에 충분한 크레딧이 있는지 확인하세요

파일 업로드 오류

• —파일 확장자가 올바른지 확인하세요 (.csv, .zip)
• —파일 크기가 너무 크지 않은지 확인하세요

평가 실패

• —JSON 파일 형식이 올바른지 확인하세요
• —팀명이 CSV와 JSON 파일명에서 일치하는지 확인하세요

📄 라이선스

MIT License

👨‍💻 개발자

강원대학교 해커톤 자동 심사 시스템