MaD Physics：物理环境下受约束信息寻求评估

科学发现本质上是受资源约束的过程，需要在质量和数量之间的复杂权衡上做出决策。测量通过揭示新现象来推动科学进程，以改进我们对世界的理解。现有的科学发现代理评估基准要么关注静态知识驱动的推理，要么关注不受约束的实验设计任务，未能捕捉代理在约束下做出测量和规划能力。为填补这一差距，我们提出 Measuring and Discovering Physics (MaD Physics)，以评估代理在测量质量和数量受限的情况下寻求信息并得出结论的能力。该基准由三个环境组成，每个环境基于不同的物理定律。为缓解现有知识的污染，MaD Physics 包含修改后的物理定律。在每个试验中，代理在预算耗尽前对系统进行测量，然后必须推断底层物理定律以对系统未来状态作出预测。MaD Physics 评估科学代理的两个基本能力：从数据推断模型和受约束规划。我们还展示了 MaD Physics 可用于评估其他能力，如多模态性和情境学习。我们使用四个 Gemini 模型 (2.5 Flash Lite, 2.5 Flash, 2.5 Pro, 和 3 Flash) 对 MaD Physics 进行基准测试，识别了其结构化探索和数据收集能力的不足，并指出了改进其科学推理方向。