toquereflexo/maia-deep-search
🧬 Maia.lab | Deep Search Index Este repositório atua como a memória persistente das operações de pesquisa realizadas pelo módulo Maia.lab dentro da plataforma Maia.ai. Ele armazena metadados, impressões digitais visuais (hashes) e indexações de provas e exames públicos encontrados e processados autonomamente pelos nossos agentes de Inteligência Artificial. O objetivo é criar um índice descentralizado e verificável de material educacional brasileiro. 📂 Estrutura… See the full description on the dataset page: https://huggingface.co/datasets/toquereflexo/maia-deep-search.
🧬 Maia.lab | Deep Search Index
  ![Data Status]()
Este repositório atua como a memória persistente das operações de pesquisa realizadas pelo módulo Maia.lab dentro da plataforma Maia.ai.
Ele armazena metadados, impressões digitais visuais (hashes) e indexações de provas e exames públicos encontrados e processados autonomamente pelos nossos agentes de Inteligência Artificial. O objetivo é criar um índice descentralizado e verificável de material educacional brasileiro.
📂 Estrutura do Banco de Dados
O banco de dados é organizado via slugs (identificadores únicos legíveis) para cada conjunto de provas. Dentro de cada diretório, um arquivo manifest.json atua como a fonte da verdade para aquele item.
/data
├── enem-2025-dia-1/
│ └── manifest.json
├── fuvest-2024-fase-1/
│ └── manifest.json
└── unicamp-2023/
└── manifest.json
O Manifesto (manifest.json)
Cada manifesto contém um array de objetos, onde cada objeto representa um caderno de prova ou gabarito identificado.
Exemplo de entrada:
[
{
"nome": "1º Dia – Caderno 1 – Azul – Prova",
"tipo": "prova",
"ano": 2025,
"instituicao": "INEP",
"fase": "1",
"link_origem": "https://download.inep.gov.br/enem/provas_e_gabaritos/2025_PV_impresso_D1_CD1.pdf",
"status": "verified",
"filename": "2025_PV_impresso_D1_CD1.pdf",
"visual_hash": "5def6a5e66072535e7c8dc763ec95cf0bc9d659cd32bd556f934ba9fa99d7724"
}
]
Dicionário de Dados
🔐 Integridade e Visual Hash
Diferente de hashes tradicionais (como MD5) que quebram se um único bit do arquivo mudar (ex: compressão ou metadados), o Maia Index utiliza um algoritmo de Identificação Visual Perceptiva.
Isso garante que, mesmo que o PDF tenha sido re-salvo ou comprimido, se o conteúdo visual (as questões) for o mesmo, o sistema o reconhecerá como o mesmo documento.
O Algoritmo
O visual_hash é calculado da seguinte forma:
- Rasterização: Cada página do PDF é convertida em imagem.
- pHash (Perceptual Hash): Calculamos o perceptual hash de cada página individualmente (ignorando pequenas variações de ruído ou compressão).
- Concatenação: Todos os pHashes das páginas são concatenados em uma única string sequencial.
- Assinatura Final: Aplicamos um SHA-256 sobre essa string concatenada.
VisualHash = SHA256( pHash(Pg1) + pHash(Pg2) + ... + pHash(PgN) )
🤖 Geração por IA
Todos os dados neste repositório são gerados ou curados por agentes de Inteligência Artificial do Maia.lab.
- Resultados de Pesquisa: A IA varre repositórios públicos e sites institucionais.
- Extração: O Google Gemini, através do OpenHands, procura na internet as informações necessárias para preencher o
manifest.jsonautomaticamente.
Nota: Embora validada, a extração automática pode conter erros. Encorajamos a comunidade a abrir Issues ou Pull Requests caso encontrem inconsistências nos metadados.
⚖️ Licença e Direitos
Este banco de dados de metadados e indexação é distribuído sob a licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional (CC BY-SA 4.0).
Você tem o direito de:
- Compartilhar: Copiar e redistribuir o material em qualquer suporte ou formato.
- Adaptar: Remixar, transformar e criar a partir do material para qualquer fim, inclusive comercial.
Sob as seguintes condições:
- Atribuição: Você deve dar o crédito apropriado ao Projeto Maia, fornecer um link para a licença e indicar se alterações foram feitas.
- CompartilhaIgual (ShareAlike): Se você remixar, transformar ou criar a partir do material, você deve distribuir as suas contribuições sob a mesma licença que o original.
⚠️ Aviso Legal: Este repositório contém indexações e links para documentos públicos. Os direitos autorais sobre o conteúdo integral das questões e textos pertencem às respectivas bancas organizadoras (INEP, etc.). A licença CC BY-SA 4.0 aplica-se exclusivamente à estrutura de dados, aos hashes visuais e ao trabalho de curadoria realizado pelo Maia.ai.
