导航至由图像指定的物体
计算机视觉与模式识别
2023-04-04 v1 机器人学
摘要
图像是具身智能体指定应导航至哪个特定物体实例的便捷方式。解决该任务需要语义视觉推理与对未知环境的探索。我们提出了一个可在仿真与真实世界中执行该任务的系统。我们的模块化方法解决了探索、目标实例重识别、目标定位与局部导航等子任务。我们使用特征匹配在自我中心视觉中重识别目标实例，并通过将匹配特征投影到地图来定位目标实例。每个子任务均使用现成组件求解，无需微调。在 HM3D InstanceImageNav 基准上，该系统优于端到端 RL 基线策略 7 倍，优于最先进的 ImageNav 模型 2.3 倍（56% 对比 25% 成功率）。我们将该系统部署到移动机器人平台，展示了有效的真实世界表现，在家庭和办公环境中取得了 88% 的成功率。
引用
@article{arxiv.2304.01192,
title = {Navigating to Objects Specified by Images},
author = {Jacob Krantz and Theophile Gervet and Karmesh Yadav and Austin Wang and Chris Paxton and Roozbeh Mottaghi and Dhruv Batra and Jitendra Malik and Stefan Lee and Devendra Singh Chaplot},
journal= {arXiv preprint arXiv:2304.01192},
year = {2023}
}