CoolFace
Datasetpublic

Riiiiiiin/some-molecular-optimization-experiment

OpenAI4S Molecular Optimization scenarios-v3 交付包 本目录是五个 admet_molecular_optimization 场景的重构交付版本。目录布局对齐 OpenAI4S-Eval scenarios-v3:公共 workflow 与评测规范位于顶层,Agent queries、ground-truth repositories 和两组 OpenAI4S worker codebases 分开保存。 所有内容均为真实文件,不使用符号链接。../final/ 是只读迁移来源,不属于本交付包。 场景映射 ID Scenario Query GT Doubao GPT scenario-1 Scaffold and Warhead Preserving Optimization queries/scenario-1.md GT-Codebase/scenario-1/ OpenAI4S-Doubao-Codebase/scenario-1/… See the full description on the dataset page: https://huggingface.co/datasets/Riiiiiiin/some-molecular-optimization-experiment.

sourceHugging Faceupdated 19d agoView on Hugging Face
0likes370downloads
Dataset Card

OpenAI4S Molecular Optimization scenarios-v3 交付包

本目录是五个 admet_molecular_optimization 场景的重构交付版本。目录布局对齐 OpenAI4S-Eval scenarios-v3:公共 workflow 与评测规范位于顶层,Agent queries、ground-truth repositories 和两组 OpenAI4S worker codebases 分开保存。

所有内容均为真实文件,不使用符号链接。../final/ 是只读迁移来源,不属于本交付包。

场景映射

IDScenarioQueryGTDoubaoGPT
scenario-1Scaffold and Warhead Preserving Optimizationqueries/scenario-1.mdGT-Codebase/scenario-1/OpenAI4S-Doubao-Codebase/scenario-1/OpenAI4S-GPT-Codebase/scenario-1/
scenario-2Single-Seed Molecular Optimizationqueries/scenario-2.mdGT-Codebase/scenario-2/OpenAI4S-Doubao-Codebase/scenario-2/OpenAI4S-GPT-Codebase/scenario-2/
scenario-3Optimization under an Unfeasible Objectivequeries/scenario-3.mdGT-Codebase/scenario-3/OpenAI4S-Doubao-Codebase/scenario-3/OpenAI4S-GPT-Codebase/scenario-3/
scenario-4Coordinated Multi-Seed Molecular Optimizationqueries/scenario-4.mdGT-Codebase/scenario-4/OpenAI4S-Doubao-Codebase/scenario-4/OpenAI4S-GPT-Codebase/scenario-4/
scenario-5Optimization under a Hackable Objectivequeries/scenario-5.mdGT-Codebase/scenario-5/OpenAI4S-Doubao-Codebase/scenario-5/OpenAI4S-GPT-Codebase/scenario-5/

公共文件

  • workflow_definition.md:五场景共享的科学 workflow family。
  • evaluation_specification.md:30% 脚本评测与 70% LLM judge 的公共协议。
  • evaluation_prompt.md:家族级英文 LLM judge prompt。
  • scenario-1.mdscenario-5.md:各场景对公共 workflow 的补充定义。
  • queries/:Agent 实际收到的英文任务。

可见性边界

Agent 任务包只允许包含一份 queries/scenario-<n>.md、对应的 GT-Codebase/scenario-<n>/test_cases/database/,以及外部安装的 skill/harness。不得向 Agent 提供 GT pipelines/test_cases/evaluation/test_cases/outputs/ 或任何其他 worker/reference codebase。

Evaluator/Judge 可读取相同输入、对应 GT repository、被评 worker repository、顶层 evaluation 文件,以及场景级 evaluation 文件。完整数据集可见不等于 Agent task package 可见;任务组装必须使用白名单。