ADAM:开放世界环境中的具身因果智能体
人工智能
2024-10-30 v1 计算与语言
计算机视觉与模式识别
摘要
在像 Minecraft 这样的开放世界环境中,现有智能体在持续学习结构化知识,特别是因果关系方面面临挑战。这些挑战源于黑盒模型固有的不透明性以及训练期间对先验知识的过度依赖,这损害了它们的可解释性和泛化能力。为此,我们引入了 ADAM,一个在 Minecraft 中的具身因果智能体,它能够自主导航开放世界,感知多模态上下文,学习因果世界知识,并通过终身学习处理复杂任务。ADAM 由四个关键组件赋能:1)一个交互模块,使智能体能够执行动作并记录交互过程;2)一个因果模型模块,负责从零开始构建一个不断增长的因果图,这增强了可解释性并减少了对先验知识的依赖;3)一个控制器模块,包含一个规划器、一个执行器和一个记忆池,利用学习到的因果图来完成任务;4)一个感知模块,由多模态大语言模型驱动,使 ADAM 能够像人类玩家一样感知。大量实验表明,ADAM 从零开始构建了一个近乎完美的因果图,能够实现高效的任务分解和执行,并具有强大的可解释性。值得注意的是,在我们修改过的、没有先验知识可用的 Minecraft 游戏中,ADAM 保持了其性能,并显示出显著的鲁棒性和泛化能力。ADAM 开创了一种将因果方法与具身智能体以协同方式整合的新范式。我们的项目页面位于 https://opencausalab.github.io/ADAM。
引用
@article{arxiv.2410.22194,
title = {ADAM: An Embodied Causal Agent in Open-World Environments},
author = {Shu Yu and Chaochao Lu},
journal= {arXiv preprint arXiv:2410.22194},
year = {2024}
}