CoolFace
Apppublic

Oshrattamam/Tokenizers

sourceHugging Faceapache-2.0updated 1y agoView on Hugging Face
0likes
App README

Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

Tokenizer Analyzer (Gradio App)

אפליקציה אינטראקטיבית ב-Gradio להשוואת Tokenization, Stemming ו-Lemmatization בין מודלים של BERT ו-GPT2.

כיצד להריץ (בסביבת פיתוח מקומית)

bash
pip install -r requirements.txt
python app.py

אין צורך להוריד את מודל spaCy בנפרד – הוא מותקן דרך requirements.txt

קלט

  • —טקסט חופשי
  • —בחירת Tokenizer
  • —לחצן Analyze

פלט

  • —טוקנים מהמודל הנבחר
  • —טבלת השוואה בין Stemming ו־Lemmatization
  • —הסבר בעברית על ההבדלים בין הגישות