jinilson/Brasil

🇧🇷 Brasil — Textos Literários Brasileiros

Dataset de textos em português brasileiro para pré-treinamento e fine-tuning de modelos de linguagem. O corpus é composto por obras literárias clássicas brasileiras em domínio público, com foco na riqueza linguística e cultural do Brasil.

📚 Conteúdo atual

📌 Mais obras serão adicionadas progressivamente.

📂 Estrutura dos arquivos

Brasil/
├── data/
│   ├── obra_a_pretrain_hf.jsonl
│   ├── obra_b_pretrain_hf.jsonl
│   └── obra_c_pretrain_hf.jsonl
├── metadata.json
└── README.md

Cada linha do .jsonl segue o formato padrão para treinamento de linguagem:

{"text": "Era uma vez, nas margens do rio grande, um homem que carregava consigo o peso do sertão..."}

🚀 Como usar

from datasets import load_dataset

ds = load_dataset("jinilson/Brasil")
print(ds["train"][0])

Para treinamento causal (GPT-style):

from datasets import load_dataset
from transformers import AutoTokenizer

ds = load_dataset("jinilson/Brasil")
tokenizer = AutoTokenizer.from_pretrained("seu-modelo-base")

def tokenize(example):
    return tokenizer(example["text"], truncation=True, max_length=512)

tokenized = ds.map(tokenize, batched=True)

🎯 Casos de uso

• —✅ Pré-treinamento de modelos de linguagem em português
• —✅ Continual pre-training — continuar treinando modelos já existentes com dados PT-BR
• —✅ Fine-tuning para geração de texto literário em português
• —✅ Embeddings e modelos de representação semântica
• —✅ Benchmarking de modelos em português clássico e moderno

📊 Estatísticas

🔤 Características linguísticas

• —Português brasileiro em diferentes registros históricos
• —Vocabulário rico e variado da literatura clássica
• —Obras em domínio público — sem restrições de uso
• —Texto limpo, sem ruído de OCR

📜 Licença e direitos

Todas as obras incluídas neste dataset são de domínio público no Brasil e internacionalmente. O dataset em si é disponibilizado sob licença Apache 2.0.

Fonte dos textos: Project Gutenberg

🤝 Contribuições

Quer adicionar mais obras brasileiras? Abra uma issue ou pull request!

Sugestões de obras para incluir:

• —Dom Casmurro — Machado de Assis
• —Memórias Póstumas de Brás Cubas — Machado de Assis
• —O Cortiço — Aluísio Azevedo
• —Iracema — José de Alencar
• —Os Sertões — Euclides da Cunha

✍️ Citação

@dataset{jinilson_brasil_2026,
  author    = {jinilson},
  title     = {Brasil — Textos Literários Brasileiros},
  year      = {2026},
  publisher = {Hugging Face},
  url       = {https://huggingface.co/datasets/jinilson/Brasil}
}