CoolFace
Datasetpublic

toquereflexo/maia-deep-search

🧬 Maia.lab | Deep Search Index Este repositório atua como a memória persistente das operações de pesquisa realizadas pelo módulo Maia.lab dentro da plataforma Maia.ai. Ele armazena metadados, impressões digitais visuais (hashes) e indexações de provas e exames públicos encontrados e processados autonomamente pelos nossos agentes de Inteligência Artificial. O objetivo é criar um índice descentralizado e verificável de material educacional brasileiro. 📂 Estrutura… See the full description on the dataset page: https://huggingface.co/datasets/toquereflexo/maia-deep-search.

sourceHugging Facecc-by-sa-4.0updated 4d agoView on Hugging Face
0likes117downloads
Dataset Card

🧬 Maia.lab | Deep Search Index

![License: CC BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/) ![Maintainer](https://maia-api.vercel.app) ![Data Status]()

Este repositório atua como a memória persistente das operações de pesquisa realizadas pelo módulo Maia.lab dentro da plataforma Maia.ai.

Ele armazena metadados, impressões digitais visuais (hashes) e indexações de provas e exames públicos encontrados e processados autonomamente pelos nossos agentes de Inteligência Artificial. O objetivo é criar um índice descentralizado e verificável de material educacional brasileiro.


📂 Estrutura do Banco de Dados

O banco de dados é organizado via slugs (identificadores únicos legíveis) para cada conjunto de provas. Dentro de cada diretório, um arquivo manifest.json atua como a fonte da verdade para aquele item.

text
/data
├── enem-2025-dia-1/
│   └── manifest.json
├── fuvest-2024-fase-1/
│   └── manifest.json
└── unicamp-2023/
    └── manifest.json

O Manifesto (manifest.json)

Cada manifesto contém um array de objetos, onde cada objeto representa um caderno de prova ou gabarito identificado.

Exemplo de entrada:

json
[
  {
    "nome": "1º Dia – Caderno 1 – Azul – Prova",
    "tipo": "prova",
    "ano": 2025,
    "instituicao": "INEP",
    "fase": "1",
    "link_origem": "https://download.inep.gov.br/enem/provas_e_gabaritos/2025_PV_impresso_D1_CD1.pdf",
    "status": "verified",
    "filename": "2025_PV_impresso_D1_CD1.pdf",
    "visual_hash": "5def6a5e66072535e7c8dc763ec95cf0bc9d659cd32bd556f934ba9fa99d7724"
  }
]

Dicionário de Dados

CampoTipoDescrição
nomeStringNome oficial do caderno identificado na capa.
tipoStringprova, gabarito ou edital.
anoIntAno de aplicação do exame.
instituicaoStringEntidade organizadora (Ex: INEP, FUVEST, COMVEST).
link_origemStringURL pública onde o artefato foi encontrado.
statusStringverified (enviado por upload manual), download (arquivo encontrado pela IA na internet) ou reference (link útil encontrado pela IA na internet).
visual_hashStringAssinatura visual única do documento (veja abaixo).

🔐 Integridade e Visual Hash

Diferente de hashes tradicionais (como MD5) que quebram se um único bit do arquivo mudar (ex: compressão ou metadados), o Maia Index utiliza um algoritmo de Identificação Visual Perceptiva.

Isso garante que, mesmo que o PDF tenha sido re-salvo ou comprimido, se o conteúdo visual (as questões) for o mesmo, o sistema o reconhecerá como o mesmo documento.

O Algoritmo

O visual_hash é calculado da seguinte forma:

  1. 1.Rasterização: Cada página do PDF é convertida em imagem.
  2. 2.pHash (Perceptual Hash): Calculamos o perceptual hash de cada página individualmente (ignorando pequenas variações de ruído ou compressão).
  3. 3.Concatenação: Todos os pHashes das páginas são concatenados em uma única string sequencial.
  4. 4.Assinatura Final: Aplicamos um SHA-256 sobre essa string concatenada.
math
VisualHash = SHA256( pHash(Pg1) + pHash(Pg2) + ... + pHash(PgN) )

🤖 Geração por IA

Todos os dados neste repositório são gerados ou curados por agentes de Inteligência Artificial do Maia.lab.

  • Resultados de Pesquisa: A IA varre repositórios públicos e sites institucionais.
  • Extração: O Google Gemini, através do OpenHands, procura na internet as informações necessárias para preencher o manifest.json automaticamente.

Nota: Embora validada, a extração automática pode conter erros. Encorajamos a comunidade a abrir Issues ou Pull Requests caso encontrem inconsistências nos metadados.


⚖️ Licença e Direitos

Este banco de dados de metadados e indexação é distribuído sob a licença Creative Commons Atribuição-CompartilhaIgual 4.0 Internacional (CC BY-SA 4.0).

Você tem o direito de:

  • Compartilhar: Copiar e redistribuir o material em qualquer suporte ou formato.
  • Adaptar: Remixar, transformar e criar a partir do material para qualquer fim, inclusive comercial.

Sob as seguintes condições:

  1. 1.Atribuição: Você deve dar o crédito apropriado ao Projeto Maia, fornecer um link para a licença e indicar se alterações foram feitas.
  2. 2.CompartilhaIgual (ShareAlike): Se você remixar, transformar ou criar a partir do material, você deve distribuir as suas contribuições sob a mesma licença que o original.

⚠️ Aviso Legal: Este repositório contém indexações e links para documentos públicos. Os direitos autorais sobre o conteúdo integral das questões e textos pertencem às respectivas bancas organizadoras (INEP, etc.). A licença CC BY-SA 4.0 aplica-se exclusivamente à estrutura de dados, aos hashes visuais e ao trabalho de curadoria realizado pelo Maia.ai.