FRS24/academic-aggregator

📚 Academic Aggregator

Academic Aggregator adalah mesin pencari akademis berbasis web yang mengumpulkan artikel, jurnal, dan e-book dari berbagai sumber open access dan gratis. Dibangun dengan FastAPI + SQLite, dirancang untuk membantu mahasiswa, peneliti, dan akademisi dalam menyelesaikan tugas akhir, skripsi, atau riset.

✨ Fitur Utama

• —🔍 Multi-Source Search — Mencari artikel dari 15+ sumber sekaligus (OpenAlex, arXiv, PubMed, DOAJ, BASE, Semantic Scholar, CORE, Unpaywall, dll.)
• —📄 Full-Text Parsing — Baca dan ekstrak konten dari PDF, EPUB, DOCX (termasuk OCR untuk gambar)
• —🧠 AI-Powered Search Engine — Integrasi dengan Semantic Scholar, Consensus, dan Elicit (scraping)
• —📚 E-Book Indexing — Upload e-book, di-index, dan bisa dicari isinya secara lokal (Whoosh)
• —🌍 Multi-Layer Architecture — Provider dibagi menjadi 3 layer: Free (no key), Key-based, dan Scraping (fallback)
• —🔒 Safe & Legal — Hanya menggunakan sumber open access dan repository resmi (SCI-HUB opsional)
• —🐳 Docker-Ready — Jalankan dengan satu perintah docker-compose up -d
• —📦 Modular & Extensible — Tambahkan sumber baru dengan mudah (tinggal buat file di providers/)

🛠️ Teknologi

📋 Prasyarat

• —Python 3.11+ (jika tanpa Docker)
• —Docker & Docker Compose (jika pakai Docker)
• —Minimal 2GB RAM
• —Koneksi internet stabil

🚀 Instalasi & Menjalankan

Opsi 1: Menggunakan Docker (Rekomendasi)

1. 1.Clone repository

   git clone https://github.com/yourusername/academic-aggregator.git
   cd academic-aggregator

1. 1.Setup environment

   cp .env.example .env
   nano .env   # isi API keys (optional, yang gratis)

1. 1.Build & run

   docker-compose up -d --build

1. 1.Akses aplikasi Buka browser: http://localhost:8000

1. 1.Stop

   docker-compose down

Opsi 2: Manual (Tanpa Docker)

1. 1.Buat virtual environment

   python3 -m venv venv
   source venv/bin/activate  # Linux/Mac
   # atau
   venv\Scripts\activate     # Windows

1. 1.Install dependencies

   pip install -r requirements.txt

1. 1.Setup environment

   cp .env.example .env
   nano .env   # isi konfigurasi

1. 1.Buat folder data

   mkdir -p data/db data/uploads data/cache

1. 1.Jalankan aplikasi

   uvicorn app.main:app --reload --host 0.0.0.0 --port 8000

1. 1.Akses aplikasi Buka browser: http://localhost:8000

📁 Struktur Project

academic-aggregator/
├── docker-compose.yml
├── Dockerfile
├── .env.example
├── requirements.txt
├── README.md
│
├── app/
│   ├── __init__.py
│   ├── main.py
│   ├── config.py
│   │
│   ├── core/
│   │   ├── base.py                 # BaseProvider (abstract)
│   │   └── registry.py             # Registry (provider manager)
│   │
│   ├── models/
│   │   ├── database.py
│   │   ├── article.py
│   │   └── ebook.py
│   │
│   ├── providers/
│   │   ├── layer_1_free/           # OpenAlex, arXiv, PubMed, DOAJ, BASE
│   │   ├── layer_2_key/            # Semantic Scholar, CORE, Unpaywall
│   │   └── layer_3_scrape/         # Google Scholar, Consensus, Elicit, dll.
│   │
│   ├── resolvers/
│   │   ├── scihub.py
│   │   └── unpaywall_resolver.py
│   │
│   ├── routes/
│   │   ├── pages.py
│   │   ├── search.py
│   │   ├── upload.py
│   │   └── read.py
│   │
│   ├── utils/
│   │   ├── parsers.py
│   │   ├── indexer.py
│   │   ├── dedup.py
│   │   └── proxy.py
│   │
│   ├── templates/
│   │   ├── base.html
│   │   ├── index.html
│   │   └── results.html
│   │
│   └── static/
│       ├── css/
│       └── js/
│
├── data/
│   ├── db/
│   └── uploads/
│
└── tests/
    ├── test_providers/
    └── test_parsers.py

⚙️ Konfigurasi (.env)

Catatan: Isi API key hanya jika ingin menggunakan provider layer 2. Provider layer 1 (OpenAlex, arXiv, PubMed, DOAJ, BASE) tidak butuh API key.

🧪 Testing

pytest tests/ -v

📖 Cara Penggunaan

1. Mencari Artikel

• —Buka http://localhost:8000
• —Masukkan keyword di form search
• —Pilih sumber (atau biarkan semua)
• —Klik "Search"
• —Hasil akan muncul dalam bentuk card dengan judul, penulis, tahun, abstrak, dan sumber

2. Membaca Full-Text

• —Klik tombol "Baca Full Text" pada card artikel
• —Akan diarahkan ke halaman baca dengan teks lengkap (jika tersedia)

3. Upload E-Book

• —Klik tab "Upload E-Book"
• —Pilih file (PDF/EPUB/DOCX)
• —Tunggu proses parsing & indexing
• —Nanti bisa dicari isinya melalui fitur "Search E-Book"

4. Download Article

• —Pada halaman hasil, klik icon download untuk menyimpan file PDF (jika tersedia)

🔌 Menambahkan Sumber Baru

1. 1.Buat file baru di providers/layer_1_free/ atau layer_2_key/ atau layer_3_scrape/
2. 2.Import BaseProvider dari core/base.py
3. 3.Implementasikan method fetch(query) dan parse(response)
4. 4.Tambahkan provider ke registry.py

Contoh:

# providers/layer_1_free/example.py
from app.core.base import BaseProvider

class ExampleProvider(BaseProvider):
    source_name = "Example"
    base_url = "https://api.example.com"

    async def fetch(self, query: str, limit: int = 10):
        # Implementasi fetch
        pass

    async def parse(self, raw_data: dict):
        # Implementasi parse
        pass

🛡️ Keamanan & Privasi

• —Tidak menyimpan data pribadi user
• —Semua file upload disimpan di data/uploads/ (tidak di-share ke publik)
• —API key disimpan di environment, tidak terekspos di frontend
• —Semua request melalui HTTPS (jika di-deploy dengan SSL)

📄 Lisensi

MIT License — silakan digunakan, dimodifikasi, dan didistribusikan.