NovPhy：开放世界环境中物理推理的测试平台
人工智能
2023-08-08 v2 机器学习
摘要
由于出现了与物理环境交互的 AI 系统，将物理推理能力引入这些 AI 系统的兴趣日益增长。但仅有物理推理能力是否足以在真实物理环境中运行？在现实世界中，我们不断面临此前未遇到过的新异情况。作为人类，我们善于成功适应这些情况。类似地，智能体需要具备在新异情况影响下运作的能力，以便在开放世界物理环境中正常运行。为促进此类 AI 系统的开发，我们提出了一个新的测试平台 NovPhy，它要求智能体在新异情况存在时对物理场景进行推理并据此采取行动。该测试平台包含要求智能体检测并适应物理场景中新异情况的任务。为创建测试平台中的任务，我们开发了代表多样化新异空间并应用于物理环境中五种常见场景的八种新异情况。根据我们的测试平台设计，我们评估智能体的两种能力：新异情况应用于不同物理场景时的表现，以及不同新异情况应用于同一物理场景时的表现。我们开展了由人类玩家、学习智能体和启发式智能体参与的全面评估。评估表明人类表现远超智能体。某些智能体即便在正常任务上表现良好，在新异情况出现时表现也显著变差，且能适应新异情况的智能体通常比人类适应得更慢。我们倡导开发在开放世界物理环境中运行时能达到或超越人类水平的智能体。测试平台网站：https://github.com/phy-q/novphy
引用
@article{arxiv.2303.01711,
title = {NovPhy: A Testbed for Physical Reasoning in Open-world Environments},
author = {Chathura Gamage and Vimukthini Pinto and Cheng Xue and Peng Zhang and Ekaterina Nikonova and Matthew Stephenson and Jochen Renz},
journal= {arXiv preprint arXiv:2303.01711},
year = {2023}
}
备注
Testbed website: https://github.com/phy-q/novphy