多层零样本目标导航策略
机器人学
2024-09-18 v1
摘要
多层环境中的目标导航是机器人领域的一个重大挑战，要求具备精妙的空间推理能力和自适应的探索策略。传统方法主要聚焦于单层场景，忽略了由多层结构引入的复杂性。为此，我们首先提出了一种多层导航策略（Multi-floor Navigation Policy, MFNP），并在零样本目标导航任务中实现了其应用。该框架包含三个关键组件：(i) 多层导航策略，使智能体能够跨越多个层级进行探索；(ii) 用于导航过程中推理的多模态大语言模型（MLLMs）；(iii) 跨层导航，确保高效的楼层转换。我们在包含多层场景的 Habitat-Matterport 3D（HM3D）和 Matterport 3D（MP3D）数据集上评估了MFNP。实验结果表明，MFNP在零样本目标导航中显著优于所有现有方法，实现了更高的成功率和更高的探索效率。消融研究进一步凸显了每个组件在应对多层导航独特挑战方面的有效性。此外，我们进行了实际的实验以评估该策略的可行性。在MFNP部署后，Unitree 四足机器人成功完成了多层导航，并在一个完全未见的环境中找到了目标对象。通过引入MFNP，我们为解决目标导航任务中复杂的多层环境提供了新的范式，为在真实世界多层场景中基于视觉的导航研究开辟了新的研究方向。
引用
@article{arxiv.2409.10906,
title = {Multi-Floor Zero-Shot Object Navigation Policy},
author = {Lingfeng Zhang and Hao Wang and Erjia Xiao and Xinyao Zhang and Qiang Zhang and Zixuan Jiang and Renjing Xu},
journal= {arXiv preprint arXiv:2409.10906},
year = {2024}
}