ESC：基于软常识约束探索的零样本物体导航
人工智能
2023-07-07 v3 计算机视觉与模式识别
机器学习
机器人学
摘要
准确地点定位并导航至特定物体的能力，是在真实世界中操作并与物体交互以完成任务的具身智能体的关键能力。此类物体导航任务通常需要在带有标记物体的视觉环境中进行大规模训练，其对未知环境中的新物体泛化能力差。在这项工作中，我们提出一种新颖的零样本物体导航方法——基于软常识约束的探索（ESC），该方法将预训练模型中的常识知识迁移到开放世界物体导航中，无需任何导航经验，也无需在视觉环境上进行任何其他训练。首先，ESC 利用预训练的视觉与语言模型进行开放世界基于提示的定位，并利用预训练的常识语言模型进行房间与物体推理。然后 ESC 通过将常识知识建模为软逻辑谓词以进行高效探索，将其转化为导航动作。在 MP3D、HM3D 和 RoboTHOR 基准上的大量实验表明，我们的 ESC 方法显著优于基线，并取得了零样本物体导航的新最优（SOTA）结果（例如，在 MP3D 上相对成功率比 CoW 提高 288%）。
引用
@article{arxiv.2301.13166,
title = {ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation},
author = {Kaiwen Zhou and Kaizhi Zheng and Connor Pryor and Yilin Shen and Hongxia Jin and Lise Getoor and Xin Eric Wang},
journal= {arXiv preprint arXiv:2301.13166},
year = {2023}
}