利用可供性感知的多模态神经SLAM学习行动
机器人学
2022-10-26 v4 人工智能
摘要
近年来，我们见证了向具身人工智能的新兴范式转变，其中智能体必须学会通过与环境的交互来解决具有挑战性的任务。解决具身多模态任务存在若干挑战，包括长程规划、视觉与语言的对齐以及高效探索。我们聚焦于一个关键瓶颈，即规划与导航的性能。为应对这一挑战，我们提出了一种神经SLAM方法，该方法首次利用多种模态进行探索，同时预测一个可供性感知的语义地图，并基于该地图进行规划。这显著提高了探索效率，实现了鲁棒的长程规划，并促成了有效的视觉与语言对齐。借助所提出的可供性感知多模态神经SLAM（AMSLAM）方法，我们在ALFRED基准上比先前发表的工作获得了超过40%的提升，并在测试未见场景上以23.48%的成功率创造了新的最先进的泛化性能。
引用
@article{arxiv.2201.09862,
title = {Learning to Act with Affordance-Aware Multimodal Neural SLAM},
author = {Zhiwei Jia and Kaixiang Lin and Yizhou Zhao and Qiaozi Gao and Govind Thattai and Gaurav Sukhatme},
journal= {arXiv preprint arXiv:2201.09862},
year = {2022}
}
备注
Accepted by IROS 2022