Ryanjxy/CamAct-Benchmark

CamAct Benchmark 这是 CamAct 项目的完整、可迁移 benchmark。它面向个人照片记忆、相册检索、关系信息查询以及基于工具的状态操作评测，包含运行所需的任务、用户记忆、原始相册、运行时服务和评测代码。 内容概览 当前 benchmark 包含 20 个用户、540 个任务，每个用户 27 个任务。每个用户的基础记忆快照包含原始图片、图片 metadata、用户画像和关系图；任务目录包含任务描述、对话上下文、模拟器 fixture、工作区状态、ground truth 和 evaluator 配置。 目录结构如下： benchmark/ ├── benchmark_manifest.json # benchmark 的通用元数据 ├── users/<user_id>/base_memory/ # 用户基础记忆和原始相册 ├── tasks/<user_id>/ # 每个用户的 27 个任务 ├── benchmark_runner/… See the full description on the dataset page: https://huggingface.co/datasets/Ryanjxy/CamAct-Benchmark.