CoolFace
Apppublic

zadaniamm/frontend-vllm

sourceHugging Faceupdated 20d agoView on Hugging Face
0likes
App README

🤖 AI Chatbot Qwen Quantized (Frontend)

Repositori ini berisi kode sumber untuk frontend aplikasi chatbot berbasis Streamlit. Aplikasi ini dirancang khusus untuk terhubung dengan backend penayangan model menggunakan vLLM yang berjalan di atas infrastruktur Google Compute Engine (GCE) G2 dengan GPU NVIDIA L4.

🚀 Fitur Utama

  • —Efek Streaming Teks: Respon dari model LLM muncul kata-demi-kata secara instan menggunakan st.write_stream.
  • —Riwayat Obrolan (Chat History): Menyimpan konteks percakapan selama sesi berlangsung menggunakan st.session_state.
  • —Arsitektur Aman (Backend Proxy): Berjalan di Hugging Face Spaces sebagai server proxy, sehingga menyembunyikan IP publik dan API Key backend dari browser pengguna secara total.

📂 Struktur Proyek

text
frontend-vllm/
├── .github/workflows/deploy-hf.yml  # Otomatisasi CI/CD ke Hugging Face
├── .gitignore                       # Proteksi berkas lokal & rahasia
├── .env                             # Konfigurasi lingkungan lokal (diabaikan oleh git)
├── README.md                        # Dokumentasi & Metadata Hugging Face
├── app.py                           # Logika UI & Integrasi API vLLM
└── requirements.txt                 # Dependensi pustaka Python

⚙️ Konfigurasi Variabel Lingkungan (Environment Variables)

Aplikasi ini membutuhkan beberapa variabel berikut untuk dapat terhubung ke backend vLLM:

Nama VariabelDeskripsiContoh Nilai
VLLM_BASE_URLEndpoint API vLLM (GCE)http://34.142.161
VLLM_API_KEYKunci keamanan autentikasi APIhahaha
MODEL_NAMENama model (served model name)qwen-2.5-awq
CHAT_TITLEJudul aplikasi pada UIAI Chatbot Qwen Quantized

💻 Panduan Menjalankan di Lokal (MacBook)

  1. 1.Pastikan backend vLLM di GCE sudah aktif (bisa divalidasi via pengujian curl).
  2. 2.Buat berkas .env di direktori utama dan isi sesuai tabel variabel di atas.
  3. 3.Aktifkan Virtual Environment Anda:
bash
   source venv/bin/activate
  1. 1.Pasang dependensi pustaka:
bash
   pip install -r requirements.txt
  1. 1.Jalankan aplikasi Streamlit:
bash
   streamlit run app.py

🌐 Deployment (Hugging Face Spaces)

Proyek ini mengadopsi standar industri Git-based CI/CD via GitHub Actions.

  • —Setiap perubahan yang di-push ke cabang main pada repositori GitHub akan otomatis memicu GitHub Actions untuk melakukan sinkronisasi aman (mirroring) ke Hugging Face Spaces.
  • —Pastikan rahasia VLLM_BASE_URL, VLLM_API_KEY, MODEL_NAME, dan CHAT_TITLE sudah dimasukkan ke dalam menu Settings -> Variables and Secrets pada dasbor Hugging Face Spaces agar aplikasi berjalan dengan semestinya.