okbro1234/CAMELYON17

CAMELYON17

1. Tổng quan

CAMELYON17 là dataset mở rộng của CAMELYON16, gồm ảnh WSI hạch bạch huyết canh gác từ 5 trung tâm y tế khác nhau (multi-center), với 1000 WSI (5 slide/bệnh nhân x 200 bệnh nhân). Bài toán chính là phân loại di căn theo 4 mức tại cấp lymph-node (negative/isolated tumor cells/micro-metastases/macro-metastases) và tổng hợp thành pN-stage tại cấp bệnh nhân.

• —Nguồn dữ liệu: AWS Open Data, s3://camelyon-dataset/CAMELYON17/ (region us-west-2, truy cập ẩn danh, CC0). Tham khảo: https://registry.opendata.aws/camelyon/
• —Tổng số object trong manifest (tính tại thời điểm chạy notebook): 1156
• —Tổng số slide (file trong thư mục images/): 1000

2. Cấu trúc lưu trữ tại đích

CAMELYON17/ (repo: okbro1234/CAMELYON17) labels/manifest.csv labels/wsidistributionsummary.csv assets/wsidistribution/wsiclass.png <rel_path gốc, ví dụ images/..., masks/..., annotations/..., evaluation/...>

3. Manifest và các cột dữ liệu

Xem labels/manifest.csv — cột: key, rel_path, subfolder, file_size, last_modified (lấy từ list_objects_v2 trên S3, xem chi tiết Cell 2 của pipeline).

4. Nhãn phân loại (Labels) — nhãn WSI thật dùng cho bài toán phân loại

[image]

Nguồn gốc nhãn (label_source): {'referencefile': 500, 'unmatched': 500}. `referencefile = lấy từ file reference/label thật trên S3 (đáng tin cậy); filename_pattern = suy đoán từ tên file; unmatched/unknown` = chưa xác định được nhãn.

5. Cách tải và sử dụng

from huggingface_hub import hf_hub_download
import pandas as pd

manifest_path = hf_hub_download(repo_id="okbro1234/CAMELYON17", repo_type="dataset", filename="labels/manifest.csv")
manifest_df = pd.read_csv(manifest_path)

sample_rel_path = manifest_df.iloc[0]["rel_path"]
sample_path = hf_hub_download(repo_id="okbro1234/CAMELYON17", repo_type="dataset", filename=sample_rel_path)
print("Đã tải:", sample_path)

6. Quy trình tái tạo (Reproducibility)

1. 1.Cell 0–3 (gốc): cấu hình S3 ẩn danh, đăng nhập HF, tạo repo, liệt kê object S3 và build manifest_df, upload labels/manifest.csv.
2. 2.Cell 4–7 (gốc): checkpoint progress.json, tính file còn thiếu, tải song song (multipart + đa luồng) và upload theo batch/commit lên HF.
3. 3.Cell A2: tự động tìm & parse file reference/label thật trên S3, fallback suy đoán từ tên file nếu cần, build wsi_label_df cấp-slide.
4. 4.Cell B2: tính distribution thật theo wsi_class, vẽ biểu đồ, lưu wsi_distribution_summary.csv.
5. 5.Cell C3 (cell này): tự động dựng README.md hoàn chỉnh từ dữ liệu runtime + thông tin công khai đã xác minh về dataset.
6. 6.Cell D2: upload wsi_distribution_summary.csv, biểu đồ, README.md lên đúng repo HF okbro1234/CAMELYON17.

7. Giới hạn và lưu ý

• —Nhãn WSI ở mục 4 được dò tự động; nếu label_source là filename_pattern hoặc còn unknown/unmatched, số liệu cần đối chiếu thêm với file reference gốc trước khi dùng cho huấn luyện mô hình.
• —Cột subfolder trong manifest chỉ phản ánh thư mục lưu trữ trên S3, không phải nhãn chẩn đoán.
• —Dữ liệu nguồn trên AWS Open Data có thể thay đổi theo thời gian; số liệu ở mục 1 và 4 phản ánh đúng thời điểm chạy notebook.

8. Trích dẫn / Nguồn tham khảo

Bandi P, Geessink O, Manson Q, van Dijk M, Balkenhol M, Hermsen M, et al. "From Detection of Individual Metastases to Classification of Lymph Node Status at the Patient Level: The CAMELYON17 Challenge." IEEE Transactions on Medical Imaging. 2019;38(2):550–560. DOI: 10.1109/TMI.2018.2867350

Trang chính thức: https://camelyon17.grand-challenge.org/

Dữ liệu gốc: AWS Open Data — https://registry.opendata.aws/camelyon/