ramonmedeiro1/bertimbau-products-reviews-pt-br

Introdução

Modelo treinado a partir do Bertimbau da Neuralmind (https://huggingface.co/neuralmind/bert-base-portuguese-cased) em um dataset chamado B2W-Reviews01. Que é um corpus aberto de reviews de produtos. Ele contém mais de 130 mil avaliações de clientes de comércio eletrônico, coletadas no site da Americanas.com (https://github.com/americanas-tech/b2w-reviews01) O modelo rodou por apenas 50 minutos (3 épocas) numa instância do google com a GPU T4.

O propósito desse projeto é totalmente para fins didáticos, onde a ideia é mostrar como fazer fine tunning de modelos para outras tarefas de NLP além da geração de textos. Encorajo quem encotrar esse repositório à rodar ele por muito mais tempo para conseguir melhores resultados.

Resultados

• —Epoch 1:
• —Training Loss: 0.863100
• —Validation Loss: 0.873007
• —Accuracy: 0.621733
• —f1_score: 0.491815

• —Epoch 2:
• —Training Loss: 0.802800
• —Validation Loss: 0.897009
• —Accuracy: 0.620914
• —f1_score: 0.554796

• —Epoch 3:
• —Training Loss: 0.692400
• —Validation Loss: 0.966356
• —Accuracy: 0.619210
• —f1_score: 0.557672

Github

No repositório (https://github.com/ramoonmedeiro/LLMTasks/tree/main/text-classification) pode ser encontrado o notebook na qual o fine tunning foi realizado.