UMUTeam/beto-cased-political-agendas

Model based on BETO por classification of political agendas.

The agendas are:

• —Gobierno y Administración Pública
• —Macroeconomía
• —Crimen y justicia
• —Educación y cultura
• —Política social
• —Política Exterior
• —Política industrial y comercio
• —Agricultura e industria pesquera
• —Derechos, libertades civiles, problemas relativos a las minorías
• —Salud
• —Comercio exterior
• —Energía
• —Trabajo
• —Medio Ambiente
• —Transporte
• —Investigación, tecnología y comunicaciones
• —Planificación urbanística y política de vivienda
• —Recursos naturales y gestión del agua
• —Política de defensa
• —Inmigración y refugiados

The model is trained using hyper-parameter tuning (10 trials) with Bayesian Optimization.

The best results achieved a macro F1-score of 68.90, a learnig rate of 2.269394114522862e-05, 3 training epochs, training batch size of 16, 250 warmup steps, and weight decay of 0.29852850725409763,254.688064575195