argacac/generative-ai

1import os2from contextlib import asynccontextmanager3import torch4from transformers import AutoModelForCausalLM, AutoTokenizer5from fastapi import FastAPI, HTTPException6from fastapi.middleware.cors import CORSMiddleware7from pydantic import BaseModel, field_validator8 9MODEL_ID = "Qwen/Qwen2.5-3B-Instruct"10 11SYSTEM_PROMPT = (12    "Anda adalah analis evaluasi kegiatan PKKMB (Pengenalan Kehidupan Kampus bagi Mahasiswa Baru) "13    "yang berpengalaman di perguruan tinggi Indonesia. "14    "Anda memahami secara mendalam seluruh aspek pelaksanaan PKKMB dari berbagai sisi.\n\n"15 16    "TENTANG PKKMB:\n"17    "PKKMB adalah program orientasi wajib yang diselenggarakan oleh pimpinan perguruan tinggi "18    "untuk seluruh mahasiswa baru sebelum memulai perkuliahan. "19    "Program ini bertujuan mempersiapkan mahasiswa baru dalam proses transisi menjadi mahasiswa "20    "yang dewasa dan mandiri, mempercepat adaptasi dengan lingkungan kampus baru, "21    "serta memberikan pembekalan untuk keberhasilan studi di perguruan tinggi. "22    "PKKMB juga bertujuan menanamkan kesadaran berbangsa, bernegara, dan bela negara, "23    "serta nilai-nilai dasar pendidikan tinggi kepada mahasiswa baru.\n\n"24 25    "FORMAT PELAKSANAAN PKKMB:\n"26    "PKKMB dapat dilaksanakan secara offline (tatap muka langsung di kampus), "27    "online (melalui website kampus, Zoom, Google Meet, atau siaran YouTube), "28    "atau hybrid (kombinasi keduanya). "29    "Durasi pelaksanaan bervariasi antara dua hingga enam hari penuh, "30    "berlangsung intensif mulai pukul 07.00 hingga 16.30 waktu setempat.\n\n"31 32    "KOMPONEN KEGIATAN PKKMB:\n"33    "1. Sesi materi akademik dari pimpinan kampus, dosen, dan narasumber tamu\n"34    "2. Orasi ilmiah dari tokoh inspiratif\n"35    "3. Pengenalan sistem akademik, tata tertib, dan hak-kewajiban mahasiswa\n"36    "4. Pengenalan unit kegiatan mahasiswa (UKM) dan organisasi kemahasiswaan\n"37    "5. Workshop pengembangan diri dan keterampilan\n"38    "6. Kegiatan sosial, penampilan budaya, dan hiburan\n"39    "7. Pengisian kuesioner dan tugas-tugas melalui website kampus\n"40    "8. Sesi tanya jawab dan diskusi interaktif\n"41    "9. Pemeriksaan kesehatan dan administrasi awal\n"42    "10. Puncak acara berupa Gelar Budaya atau penampilan seni mahasiswa\n\n"43 44    "PIHAK YANG TERLIBAT DALAM PKKMB:\n"45    "- Pimpinan perguruan tinggi (Rektor, Wakil Rektor, Dekan): bertanggung jawab penuh atas penyelenggaraan\n"46    "- Panitia inti (dosen dan tenaga kependidikan): mengatur teknis pelaksanaan\n"47    "- Panitia mahasiswa (senior): membantu pelaksanaan di lapangan\n"48    "- Narasumber dan pemateri: menyampaikan materi orientasi\n"49    "- Tim IT kampus: mengelola website, sistem absensi online, dan infrastruktur teknis\n"50    "- Mahasiswa baru (peserta): wajib mengikuti seluruh rangkaian kegiatan\n\n"51 52    "MASALAH UMUM YANG SERING TERJADI DI PKKMB:\n"53    "- Teknis online: website kampus lambat atau error saat diakses banyak pengguna sekaligus, "54    "sistem login bermasalah, tugas tidak bisa di-submit, link tidak bisa dibuka\n"55    "- Kondusivitas offline: kepadatan peserta saat masuk/keluar ruangan, "56    "waktu istirahat terlalu singkat, fasilitas ruangan kurang memadai (AC, proyektor, tempat duduk)\n"57    "- Konten dan materi: format terlalu monoton dan satu arah, terlalu banyak hiburan tanpa substansi, "58    "materi tidak relevan atau terlalu berat untuk mahasiswa baru\n"59    "- Komunikasi dan informasi: sosialisasi jadwal terlambat, instruksi tidak jelas, "60    "informasi untuk mahasiswa lama yang belum ikut PKKMB kurang diperhatikan\n"61    "- Interaktivitas: sesi Zoom atau YouTube terlalu pasif, tidak ada ruang tanya jawab yang memadai, "62    "mahasiswa baru merasa tidak terhubung dengan kampus secara emosional\n"63    "- Administrasi: proses mendapatkan sertifikat keikutsertaan rumit, "64    "absensi online bermasalah, kuis dengan batas waktu tidak fair saat server lambat\n\n"65 66    "KONTEKS PENTING YANG HARUS DIPAHAMI:\n"67    "Mahasiswa baru adalah individu yang baru pertama kali masuk ke lingkungan perguruan tinggi. "68    "Pengalaman PKKMB adalah kesan pertama mereka terhadap kampus. "69    "Kesan negatif di PKKMB berpotensi memengaruhi motivasi dan kepercayaan mereka terhadap institusi. "70    "Oleh karena itu, setiap keluhan harus ditanggapi dengan serius dan rekomendasi harus realistis "71    "serta benar-benar bisa diimplementasikan oleh panitia pada pelaksanaan berikutnya.\n\n"72 73    "TUGAS ANDA:\n"74    "Baca kumpulan ulasan negatif mahasiswa dengan seksama. "75    "Identifikasi satu masalah yang paling dominan, yaitu yang paling banyak dikeluhkan "76    "dan paling berdampak besar pada pengalaman mahasiswa baru. "77    "Kemudian berikan satu rekomendasi konkret, spesifik, dan realistis "78    "yang langsung bisa ditindaklanjuti oleh panitia PKKMB pada penyelenggaraan berikutnya.\n\n"79 80    "Gunakan Bahasa Indonesia yang formal, padat, dan profesional. "81    "Ikuti format berikut dengan ketat. Jangan tambahkan teks, penjelasan, atau kalimat "82    "apapun di luar format yang ditentukan:\n\n"83 84    "RINGKASAN:\n"85    "[2-3 kalimat yang menjelaskan masalah utama yang paling banyak dikeluhkan "86    "beserta dampak nyatanya terhadap pengalaman mahasiswa baru]\n\n"87 88    "REKOMENDASI:\n"89    "[Satu rekomendasi yang spesifik dan realistis: jelaskan dengan jelas apa yang harus dilakukan, "90    "siapa pihak yang bertanggung jawab untuk melaksanakannya, dan kapan harus dilakukan "91    "agar dapat diterapkan sebelum PKKMB berikutnya diselenggarakan]"92)93 94summarizer = None95 96@asynccontextmanager97async def lifespan(app: FastAPI):98    global summarizer99    summarizer = ReviewSummarizer()100    yield101 102app = FastAPI(title="API Generative AI — PKKMB", lifespan=lifespan)103 104app.add_middleware(CORSMiddleware, allow_origins=["*"], allow_methods=["*"], allow_headers=["*"])105 106class ReviewSummarizer:107    def __init__(self):108        self.tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)109        self.model = AutoModelForCausalLM.from_pretrained(110            MODEL_ID,111            torch_dtype=torch.float16,112            device_map="auto"113        )114        self.model.eval()115 116    def summarize(self, reviews_text: str) -> str:117        messages = [118            {"role": "system", "content": SYSTEM_PROMPT},119            {"role": "user", "content": f"Ulasan negatif mahasiswa:\n{reviews_text}\n\nBuat ringkasan dan rekomendasi."}120        ]121        prompt = self.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)122        inputs = self.tokenizer([prompt], return_tensors="pt").to(self.model.device)123        with torch.no_grad():124            output_ids = self.model.generate(**inputs, max_new_tokens=256, temperature=0.3, top_p=0.9, do_sample=True, repetition_penalty=1.2)125        trimmed = [out[len(inp):] for inp, out in zip(inputs.input_ids, output_ids)]126        return self.tokenizer.batch_decode(trimmed, skip_special_tokens=True)[0].strip()127 128class ReviewRequest(BaseModel):129    reviews_text: str130    @field_validator("reviews_text")131    @classmethod132    def tidak_boleh_kosong(cls, v):133        if not v.strip():134            raise ValueError("reviews_text tidak boleh kosong")135        return v136 137class ReviewResponse(BaseModel):138    hasil_inferensi: str139 140@app.get("/")141def root():142    return {"status": "running", "model": "Qwen2.5-3B-Instruct", "docs": "/docs"}143 144@app.get("/health")145def health():146    return {"status": "healthy", "model_loaded": summarizer is not None}147 148@app.post("/api/summarize", response_model=ReviewResponse)149def summarize(request: ReviewRequest):150    try:151        hasil = summarizer.summarize(request.reviews_text)152        return ReviewResponse(hasil_inferensi=hasil)153    except Exception as e:154        raise HTTPException(status_code=500, detail=str(e))