okbro1234/CAMELYON16

CAMELYON16

1. Tổng quan

CAMELYON16 là dataset ảnh mô bệnh học toàn tiêu bản (WSI) hạch bạch huyết canh gác (sentinel lymph node) của bệnh nhân ung thư vú, thu thập tại 2 trung tâm ở Hà Lan (Radboud University Medical Center và University Medical Center Utrecht). Bài toán chính là phân loại nhị phân cấp-slide: phát hiện có/không có di căn ung thư trong hạch (tumor/normal). Dataset gốc gồm 400 WSI (270 training, 130 testing).

• —Nguồn dữ liệu: AWS Open Data, s3://camelyon-dataset/CAMELYON16/ (region us-west-2, truy cập ẩn danh, CC0). Tham khảo: https://registry.opendata.aws/camelyon/
• —Tổng số object trong manifest (tính tại thời điểm chạy notebook): 1365
• —Tổng số slide (file trong thư mục images/): 399

2. Cấu trúc lưu trữ tại đích

CAMELYON16/ (repo: okbro1234/CAMELYON16) labels/manifest.csv labels/wsidistributionsummary.csv assets/wsidistribution/wsiclass.png <rel_path gốc, ví dụ images/..., masks/..., annotations/..., evaluation/...>

3. Manifest và các cột dữ liệu

Xem labels/manifest.csv — cột: key, rel_path, subfolder, file_size, last_modified (lấy từ list_objects_v2 trên S3, xem chi tiết Cell 2 của pipeline).

4. Nhãn phân loại (Labels) — nhãn WSI thật dùng cho bài toán phân loại

[image]

Nguồn gốc nhãn (label_source): {'referencefile': 399}. `referencefile = lấy từ file reference/label thật trên S3 (đáng tin cậy); filename_pattern = suy đoán từ tên file; unmatched/unknown` = chưa xác định được nhãn.

5. Cách tải và sử dụng

from huggingface_hub import hf_hub_download
import pandas as pd

manifest_path = hf_hub_download(repo_id="okbro1234/CAMELYON16", repo_type="dataset", filename="labels/manifest.csv")
manifest_df = pd.read_csv(manifest_path)

sample_rel_path = manifest_df.iloc[0]["rel_path"]
sample_path = hf_hub_download(repo_id="okbro1234/CAMELYON16", repo_type="dataset", filename=sample_rel_path)
print("Đã tải:", sample_path)

6. Quy trình tái tạo (Reproducibility)

1. 1.Cell 0–3 (gốc): cấu hình S3 ẩn danh, đăng nhập HF, tạo repo, liệt kê object S3 và build manifest_df, upload labels/manifest.csv.
2. 2.Cell 4–7 (gốc): checkpoint progress.json, tính file còn thiếu, tải song song (multipart + đa luồng) và upload theo batch/commit lên HF.
3. 3.Cell A2: tự động tìm & parse file reference/label thật trên S3, fallback suy đoán từ tên file nếu cần, build wsi_label_df cấp-slide.
4. 4.Cell B2: tính distribution thật theo wsi_class, vẽ biểu đồ, lưu wsi_distribution_summary.csv.
5. 5.Cell C3 (cell này): tự động dựng README.md hoàn chỉnh từ dữ liệu runtime + thông tin công khai đã xác minh về dataset.
6. 6.Cell D2: upload wsi_distribution_summary.csv, biểu đồ, README.md lên đúng repo HF okbro1234/CAMELYON16.

7. Giới hạn và lưu ý

• —Nhãn WSI ở mục 4 được dò tự động; nếu label_source là filename_pattern hoặc còn unknown/unmatched, số liệu cần đối chiếu thêm với file reference gốc trước khi dùng cho huấn luyện mô hình.
• —Cột subfolder trong manifest chỉ phản ánh thư mục lưu trữ trên S3, không phải nhãn chẩn đoán.
• —Dữ liệu nguồn trên AWS Open Data có thể thay đổi theo thời gian; số liệu ở mục 1 và 4 phản ánh đúng thời điểm chạy notebook.

8. Trích dẫn / Nguồn tham khảo

Ehteshami Bejnordi B, Veta M, Johannes van Diest P, van Ginneken B, Karssemeijer N, Litjens G, van der Laak JAWM, and the CAMELYON16 Consortium. "Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women With Breast Cancer." JAMA. 2017;318(22):2199–2210. DOI: 10.1001/jama.2017.14585

Trang chính thức: https://camelyon16.grand-challenge.org/

Dữ liệu gốc: AWS Open Data — https://registry.opendata.aws/camelyon/