在真实世界中导航至物体
机器人学
2022-12-05 v1 计算机视觉与模式识别
机器学习
摘要
语义导航对于在如家庭、学校和医院等不受控环境中部署移动机器人是必要的。针对缺乏语义理解的传统空间导航流程(其使用深度传感器构建几何地图并规划到达点目标),许多基于学习的方法已被提出。广义上,端到端学习方法利用深度神经网络将传感器输入反应式地映射为动作,而模块化学习方法则以基于学习的语义感知与探索来丰富传统流程。但习得的可视导航策略主要在仿真中被评估。不同类别的方法在机器人上表现如何?我们提出一项大规模语义可视导航方法的实证研究,比较了来自传统、模块化和端到端学习方法的代表性方法在六栋无先验经验、地图或仪表化的住宅中的表现。我们发现模块化学习在真实世界中表现良好,取得了 90% 成功率。相反,端到端学习表现不佳,由于仿真与现实间巨大的图像域差距,其成功率从仿真的 77% 降至真实的 23%。对于实践者,我们展示模块化学习是一种可靠的导航至物体的方法:策略设计中的模块化与抽象使能 Sim-to-Real 迁移。对于研究者,我们识别出阻碍当今仿真器成为可靠评估基准的两个关键问题——(A)图像上的巨大 Sim-to-Real 差距与(B)仿真与真实世界错误模式间的脱节——并给出具体的改进步骤。
引用
@article{arxiv.2212.00922,
title = {Navigating to Objects in the Real World},
author = {Theophile Gervet and Soumith Chintala and Dhruv Batra and Jitendra Malik and Devendra Singh Chaplot},
journal= {arXiv preprint arXiv:2212.00922},
year = {2022}
}
备注
39 pages, 19 figures and tables, submitted to Science Robotics