vanhai123/data-pipeline-ai-agent

🚀 Data Pipeline với AI Agent (Gradio + Python)

🧠 Giới thiệu

Dự án này mô phông một hệ thống Data Pipeline tự động:

• —Thu thập dữ liệu từ API công khai (Public APIs)
• —Làm sạch dữ liệu bằng bộ lọc logic (chỉ giữ các API hỗ trợ HTTPS)
• —Tự động hóa xử lý thông qua một AI Agent đơn giản phát hiện dữ liệu mới
• —Thông báo kết quả xử lý qua email Gmail
• —Hiển thị giao diện tương tác qua Gradio trên Hugging Face Spaces

📦 Chức năng chính

🥪 Demo trực tiếp (Hugging Face Space)

👉 Truy cập giao diện tại: https://huggingface.co/spaces/<username>/data-pipeline-ai-agent

🧠 Công nghệ sử dụng

• —[x] Python 3.10
• —[x] Gradio
• —[x] Pandas
• —[x] smtplib & email.mime – Gửi Gmail
• —[x] API nguồn: https://api.publicapis.org/entries

🗂 Cấu trúc thư mục

data-pipeline-ai-agent/
├── app.py                 # Giao diện Gradio chính
├── pipeline.py            # Thu thập & làm sạch dữ liệu
├── agent.py               # Agent tự động trigger & gửi email
├── requirements.txt       # Thư viện cần cài đặt
├── README.md              # Mô tả chi tiết dự án
└── data/                  # Lưu file CSV tạm thời
    ├── raw_data.csv
    └── clean_data.csv

🔐 Cấu hình Gmail để gửi email

1. 1.Bật 2 bước xác minh tại: https://myaccount.google.com/security
2. 2.Tạo App Password tại: https://myaccount.google.com/apppasswords
3. 3.Cập nhật email và mật khẩu app vào agent.py:

SENDER_EMAIL = "youremail@gmail.com"
SENDER_PASSWORD = "your-16-char-app-password"

##Hướng dẫn sử dụng (cục bộ)

# Cài thư viện
pip install -r requirements.txt

# Chạy Gradio
python app.py

Dự án thực hiện trong khóa học: MLOps – Buổi 4: "Xây dựng Data Pipeline và Feature Store với AI Agent"