CoolFace
Datasetpublic

Polygl0t/portuguese-edu-qwen-annotations

Annotations for the Portuguese-Edu classifier 📚 Dataset Summary This dataset contains the annotations used for training an educational classifier (Polygl0t/portuguese-bertimbau-large-edu-classifier and Polygl0t/portuguese-bertimbau-edu-classifier). These annotations were generated by Qwen/Qwen2.5-32B-Instruct. Supported Tasks and Leaderboards This dataset can be used for the task of text classification, specifically for educational quality… See the full description on the dataset page: https://huggingface.co/datasets/Polygl0t/portuguese-edu-qwen-annotations.

sourceHugging Faceapache-2.0updated 7mo agoView on Hugging Face
0likes80downloads
Dataset Card

Annotations for the Portuguese-Edu classifier 📚

Table of Contents

Dataset Description

  • —Homepage: https://huggingface.co/datasets/Polygl0t/portuguese-edu-qwen-annotations
  • —Repository: https://huggingface.co/datasets/Polygl0t/portuguese-edu-qwen-annotations
  • —Point of Contact: Polyg0t

Dataset Summary

This dataset contains the annotations used for training an educational classifier (Polygl0t/portuguese-bertimbau-large-edu-classifier and Polygl0t/portuguese-bertimbau-edu-classifier). These annotations were generated by Qwen/Qwen2.5-32B-Instruct.

Supported Tasks and Leaderboards

This dataset can be used for the task of text classification, specifically for educational quality assessment in Portuguese text.

Languages

Portuguese.

Dataset Structure

Data Instances

  • —id: a unique identifier for each sample (md5 hash).
  • —text: a string of text in Portuguese.
  • —source: the source where that string originated.
  • —subset: a short string indicating the name of the subset (referring to the original dataset or crawl).
  • —score: the score assigned by Qwen/Qwen2.5-32B-Instruct.

Data Fields

json
{
  "text": "Amostra de texto em português para avaliação educacional.",
  "source": "https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-30/index.html",
  "subset": "CC-MAIN-2025-30",
  "id": "a1b2c3d4e5f67890123456789abcdef",
  "score": 2
}

Subsets and Splits

This dataset contains a single split: train, which includes all 700,000 samples.

python
from datasets import load_dataset

# Load the main dataset
ds = load_dataset("Polygl0t/portuguese-edu-qwen-annotations", split="train")

# If you don't want to download the entire dataset, set streaming to `True`
ds = load_dataset("Polygl0t/portuguese-edu-qwen-annotations", split="train", streaming=True)

Dataset Creation

Source Data

All data was sourced from Polygl0t/gigaverbo-v2. The id field corresponds to the md5 hash of the text.

Annotations

The dataset was created to provide high-quality educational annotations for Portuguese text, leveraging the capabilities of Qwen2.5 to generate consistent and scalable annotations.

The score distribution of this dataset is the following:

Edu ScoreN samples
1252942
2265969
3136784
443891
5414
Annotation Process

The initial annotation was performed on a random sample of 700,000 documents from Polygl0t/gigaverbo-v2, where we tried to sample equally from all the subsets that form this corpus. In terms of infrastructure, we used 4 x NVIDIA A100-SXM4-80GB GPUs and the vLLM library as our inference engine with 4-fold tensor parallelism.

Below is the prompt used for annotation:

text
Você é um avaliador de qualidade de textos para a língua portuguesa. Sua tarefa é avaliar, em uma escala de 1 a 5, o quão informativo e educativo é um dado trecho de texto. Você DEVE apresentar sua pontuação no formato JSON.

### Critérios de Avaliação:

-   Dê 1 se o texto não for informativo ou educativo. Também dê 1 se o texto for muito simples, muito curto, mal formatado, sem sentido ou contiver conteúdo NSFW.
-   Dê 2 se o texto for um pouco informativo, mas carecer de valor educacional. Por exemplo, pode misturar conteúdo educativo com material não educativo, oferecendo uma visão superficial de tópicos potencialmente úteis.
-   Dê 3 se o texto for informativo e adequado para uso educacional, apresentando conceitos-chave relevantes para os currículos escolares. Por exemplo, se o texto for um artigo bem escrito sobre um tópico científico, mas pode não ser completo ou incluir informações supérfluas, sendo excessivamente complexo ou muito simples.
-   Dê 4 se o texto for educativo e informativo, proporcionando um conteúdo altamente relevante e benéfico para fins educacionais, para um nível não superior ao ensino fundamental, exibindo um estilo de escrita claro e consistente. Por exemplo, poderia ser similar a um capítulo de livro didático ou a um tutorial, oferecendo conteúdo educacional substancial, incluindo exercícios e soluções, com informações irrelevantes mínimas.
-   Dê 5 se o texto for altamente educativo e informativo. Para uma pontuação 5, o texto deve ser excepcional em seu valor educacional, perfeitamente adequado para ensino no ensino fundamental ou ensino médio. Ele segue um raciocínio detalhado, o estilo de escrita é fácil de entender e oferece insights profundos e completos sobre o assunto.

### Requisitos de Saída:

-   Sua saída deve ser um objeto JSON válido.
-   O JSON deve conter apenas um par chave-valor.
-   A chave deve ser 'score'.
-   O valor deve ser um número inteiro entre 1 e 5.
-   O valor deve ser uma representação fiel dos critérios acima.

### Exemplo de Saída:

{'score': 2}

Certifique-se de que suas respostas sigam estritamente este formato e avaliem o texto de forma precisa, com base nos critérios fornecidos.

Abaixo está um trecho de uma página da web. Avalie se a página tem um alto valor educacional e pode ser útil em um ambiente educacional para ensino do ensino fundamental ao ensino médio. Atribua uma pontuação entre 1 e 5. Certifique-se de que sua pontuação reflita quão informativo e educativo o texto é. O texto será fornecido em português.

Texto: <<O texto a ser avaliado>>

Forneça sua pontuação como um número inteiro entre 1 e 5. Responda apenas no formato JSON.

Considerations for Using the Data

Social Impact of Dataset

The dataset aims to provide a valuable resource for understanding and improving educational content in Portuguese text. By offering high-quality annotations, it can help researchers and developers create more effective educational tools, promote better learning outcomes, and contribute to the broader field of NLP for low-resource languages.

Additional Information

Dataset Maintainers

Licensing Information

The dataset is licensed under the Apache-2.0 License.

Citation Information

latex
@misc{correa2026tucano2cool,
      title={{Tucano 2 Cool: Better Open Source LLMs for Portuguese}}, 
      author={Nicholas Kluge Corr{\^e}a and Aniket Sen and Shiza Fatimah and Sophia Falk and Lennard Landgraf and Julia Kastner and Lucie Flek},
      year={2026},
      eprint={2603.03543},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2603.03543}, 
}

Acknowledgments

Polyglot is a project funded by the Federal Ministry of Education and Research (BMBF) and the Ministry of Culture and Science of the State of North Rhine-Westphalia (MWK) as part of TRA Sustainable Futures (University of Bonn) and the Excellence Strategy of the federal and state governments.

We also gratefully acknowledge the granted access to the Marvin cluster hosted by University of Bonn along with the support provided by its High Performance Computing & Analytics Lab.

Contributions

If you want to contribute, contact us at polyglot@uni-bonn.de!