OneScience-Group/AlphaFold3_dataset

1---2tags:3  - protein structure prediction4  - MMseqs5  - Jackhmmer6language:7  - en8  - zh9license: other10---11<p align="center">12  <strong>13    <span style="font-size: 30px;">AlphaFold3 Dataset</span>14  </strong>15</p>16 17## 数据集描述18 19AlphaFold3_dataset 是 `OneScience/AlphaFold3/` 模型的配套数据集，包含推理输入样例、公共搜索数据库、MMseqs 数据库、Jackhmmer 分片数据库和对齐相关目录。数据集 ID 固定为 `OneScience/AlphaFold3_dataset`。20 21## 数据集支持的任务22 23本数据集服务于 AlphaFold3 生物分子结构预测流程。它既提供已经包含 MSA 的 AlphaFold3 JSON 样例，也提供从序列搜索 MSA 所需的数据库目录。模型端可使用这些数据完成预检、带 MSA 推理、MMseqs 数据管线和 Jackhmmer 数据管线。24 25### 数据集的格式和结构26 27| 路径 | 类型 | 作用 | 是否必需 | 用于能力 | 下载后放置位置 | 备注 |28|---|---|---|---|---|---|---|29| `manifest.yaml` | Manifest 文件 | 机器可读数据集说明 | 是 | 全部能力 | 数据集包根目录 | 大模型必须解析 |30| `onescience_run_manifest.yaml` | 运行 Manifest | 网页端读取入口 | 是 | 全部能力 | 数据集包根目录 | 与 `manifest.yaml` 一致 |31| `metadata/file_manifest.yaml` | 完整性清单 | 记录关键文件的源路径、整理路径、大小和 SHA256 | 是 | 预检 | `metadata/` | 验证整理后一致性 |32| `scripts/validate_dataset.py` | 验证脚本 | 检查目录、JSON schema、大小和 SHA256 | 是 | 数据读取验证 | `scripts/` | 不运行模型 |33| `data/infer_input_data/` | 输入样例 | AlphaFold3 JSON 样例，含 all_data 和 pressure_data | 是 | 推理、预检 | `data/infer_input_data/` | 最小样例为 `all_data/7r6r_data.json` |34| `data/public_databases/` | 公共数据库 | Jackhmmer 和模板搜索数据库 | 是 | 数据管线 | `data/public_databases/` | 上传视图使用 `pdb_2022_09_28_mmcif_files.tar` 代替解开的 `mmcif_files/` 目录，以规避文件数限制 |35| `data/mmseqsDB/` | MMseqs 数据库 | MMseqs 搜索数据库 | 是 | MMseqs 数据管线 | `data/mmseqsDB/` | 包含 small_bfd、mgnify、uniprot、uniref90 |36| `data/jackhmmer_split/` | 分片数据库 | Jackhmmer 搜索用 sharded FASTA | 是 | Jackhmmer 数据管线 | `data/jackhmmer_split/` | 分片数量见目录文件名 |37| `data/alignDB/` | 对齐数据库 | 对齐相关数据 | 否 | 高级流程 | `data/alignDB/` | 可选 |38 39## 数据集使用方式40### 文件与下载41 42下载数据集：43 44```bash45hf download --dataset OneScience-Sugon/AlphaFold3_dataset46```47 48下载适配模型：49 50```bash51hf download --model OneScience-Sugon/AlphaFold3/52```53 54如果使用 `--cache_dir`，验证前必须切换到实际下载出的数据集包根目录。55 56### 数据放置位置57 58数据集单独下载后，可以保持在数据集包根目录运行验证。供模型使用时，应将本仓库的 `data` 子目录放到模型包：59 60```text61<model-package>/data/alphafold3_dataset62```63 64可通过复制或链接实现：65 66```bash67mkdir -p /path/to/model-package/data68ln -s /path/to/AlphaFold3_dataset/data /path/to/model-package/data/alphafold3_dataset69```70 71### 数据读取验证72 73在数据集包根目录执行：74 75```bash76python scripts/validate_dataset.py --root .77```78 79验证脚本会解析 `metadata/file_manifest.yaml`，检查关键目录存在、JSON 样例可读、文件名一致、大小一致和 SHA256 一致。成功时输出 `dataset_validation_ok: true`。80 81 82## OneScience 官方信息83 84| 平台 | OneScience 主仓库 | Skills 仓库 |85|---|---|---|86| Gitee |https://gitee.com/onescience-ai/onescience | https://gitee.com/onescience-ai/oneskills |87| GitHub | https://github.com/onescience-ai/OneScience | https://github.com/onescience-ai/oneskills |88 89## 限制与许可证90 91mmseqs为本地生成数据库，公共数据库和 AlphaFold3 相关数据需遵守各自上游许可和使用条款。92