HelloDeDe/multicam-4d-stereo
MultiCam 4D Stereo Dataset 同步 8 目立体相机 4D 采集数据。8 台 DECXIN/Nori 并排立体模组由单个 ESP32 门控触发器并联驱动,跨相机同步 ~0.4µs(亚微秒)。每台相机自带用屏幕 ChArUco 标定出的双目内参。 相机 每台相机有唯一动物名(对应物理标签):Cat Pig Cow Fish Tiger Sheep Dog Mouse。 文件(每个 zip = 一段截取) 文件 会话 帧范围 每台每目帧数 ui_1784818172_8s到结尾_8台命名带内参.zip ui_1784818172 8s→结尾 353 ui_1784817901_4s到7s_8台命名带内参.zip ui_1784817901 4s→7s 90 ui_1784817901_10s到结尾_8台命名带内参.zip ui_1784817901 10s→结尾 291 (帧范围按 30fps 换算;每 zip 解压得到一个… See the full description on the dataset page: https://huggingface.co/datasets/HelloDeDe/multicam-4d-stereo.
MultiCam 4D Stereo Dataset
同步 8 目立体相机 4D 采集数据。8 台 DECXIN/Nori 并排立体模组由单个 ESP32 门控触发器并联驱动,跨相机同步 ~0.4µs(亚微秒)。每台相机自带用屏幕 ChArUco 标定出的双目内参。
相机
每台相机有唯一动物名(对应物理标签):Cat Pig Cow Fish Tiger Sheep Dog Mouse。
文件(每个 zip = 一段截取)
(帧范围按 30fps 换算;每 zip 解压得到一个 dataset_<session>_<range>/ 顶层目录。)
目录结构
dataset_<session>_<range>/
├── capture_info.json # 元信息(相机/帧范围/同步抖动/含标定清单)
├── README.txt # 用法说明
├── Tiger/
│ ├── left/ 000000.jpg … NNNNNN.jpg
│ ├── right/ 000000.jpg … NNNNNN.jpg
│ └── calibration/
│ ├── foundationstereo_K.txt # 校正后 K + 基线(FoundationStereo 格式)
│ ├── stereo_calibration.npz # K/D/R/T + 极线校正映射 left_map/right_map
│ └── stereo_calibration_summary.json
├── Fish/ … Cat/ … Pig/ … Cow/ … Sheep/ … Dog/ … Mouse/ …对齐约定
- 同一相机
left/NNNNNN.jpg与right/NNNNNN.jpg= 同一原始帧。 - 不同相机的同名帧 = 同一触发瞬间(亚微秒同步)。
left/right为原始拆分(相机倒装已转正,未极线校正);视差约定x_left - x_right > 0,符合 FoundationStereo。
使用 (FoundationStereo)
送 FoundationStereo 前,对每台的 left/right 用其 calibration/stereo_calibration.npz 里的 left_map/right_map 做 cv2.remap 极线校正,再配 foundationstereo_K.txt:
import numpy as np, cv2
c = np.load("Tiger/calibration/stereo_calibration.npz")
L = cv2.remap(cv2.imread("Tiger/left/000000.jpg"), c["left_map_x"], c["left_map_y"], cv2.INTER_LINEAR)
R = cv2.remap(cv2.imread("Tiger/right/000000.jpg"), c["right_map_x"], c["right_map_y"], cv2.INTER_LINEAR)
# 校正后的 L/R + foundationstereo_K.txt -> FoundationStereo标定质量
每台屏幕 ChArUco 双目标定:stereo RMS ≈ 0.6px、基线 ≈ 59.5mm(8 台聚集在 59.35–59.83mm,硬件一致)。