Luan220703/Vietnamese_Categories

The Label is under description. You can follow the list to know the label model predicted.

We are using the pretrained PhoBERT model by VOVANPHUC (link = "https://huggingface.co/VoVanPhuc/sup-SimCSE-VietNamese-phobert-base ") to train on a Vietnamese dataset consisting of 1.3 GB of articles from Tuoi Tre newspaper, including columns such as ('URL', 'Title', 'Summary', 'Contents', 'Date', 'Author(s)', 'Category', 'Tags'). We use the 'Title' column for classification because it allows for quick classification based on the title. The model was trained on 2x GPU T4 of Kaggle with 12 epochs and 4.5 hours trained.

The Model can be improved more if increasing epochs. The loss with 12 epochs (batch size = 64, weight_decy = 0.01 and learning rate = 2e-5) and this average is 0.2 and can be decreased if training more times. However the loss can be highest in over 0.2 or 0.18 because the limited of models with sensitive and unambiguous texts

We can plot and compare in other situation such as trainning with 8 epochs and 12 epochs(feasible paper 7) and can see that The loss function only approaches 0.2 or 0.19 at its highest in the problem with the model above.

This is the label to predict {0: 'Bạn đọc', 1: 'Bất động sản', 2: 'Công nghệ', 3: 'Công đoàn', 4: 'Diễn đàn', 5: 'Du lịch', 6: 'Gia đình - Hôn nhân', 7: 'Giáo dục', 8: 'Kinh doanh', 9: 'Lao Động & Đời sống', 10: 'Lao Động Xuân', 11: 'Lao Động cuối tuần', 12: 'Lưu trữ', 13: 'Media', 14: 'Người Việt tử tế', 15: 'Pháp luật', 16: 'Phóng sự', 17: 'Phóng sự - Điều tra', 18: 'Quỹ TLV', 19: 'Sổ tay kinh tế', 20: 'Sức khỏe', 21: 'Sự kiện Bình luận', 22: 'Thông tin doanh nghiệp', 23: 'Thông tin tiện ích', 24: 'Thế giới', 25: 'Thể thao', 26: 'Thời sự', 27: 'Tin bài liên quan', 28: 'Tin bài nổi bật', 29: 'Tin bài xem thêm', 30: 'Tin hoạt động', 31: 'Tin tức việc làm', 32: 'Tin địa phương', 33: 'Tản mạn - Chuyện dọc đường', 34: 'Tấm Lòng Vàng', 35: 'Video', 36: 'Văn hóa - Giải trí', 37: 'Xe +', 38: 'Xã hội'}

We hope that it can be trained with more higher technology to decrease loss and the model can predict better more than now.