OpenObject-NAV：基于动态载体关系场景图的开放词汇面向对象导航
机器人学
2024-09-30 v1 人工智能
摘要
在日常生活中，像杯子这样经常使用的物品通常没有固定的位置，且在同一类别内有多个实例，它们的载体也经常变化。因此，机器人高效导航至特定实例变得极具挑战性。为了应对这一挑战，机器人必须持续捕捉和更新场景变化并进行规划。然而，当前的物体导航方法主要关注语义层面，缺乏动态更新场景表示的能力。本文捕捉了常用物品与其静态载体之间的关系。它构建了一个开放词汇的载体关系场景图（CRSG），并在机器人导航过程中更新承载状态，以反映场景的动态变化。基于 CRSG，我们进一步提出了一种实例导航策略，将导航过程建模为马尔可夫决策过程。在每一步，决策均由大语言模型的常识知识和视觉-语言特征相似性提供信息。我们在 Habitat 模拟器中为日常常用物品设计了一系列长序列导航任务。结果表明，通过更新 CRSG，机器人能够高效导航至移动后的目标。此外，我们将算法部署在实际机器人上，验证了其实际有效性。
引用
@article{arxiv.2409.18743,
title = {OpenObject-NAV: Open-Vocabulary Object-Oriented Navigation Based on Dynamic Carrier-Relationship Scene Graph},
author = {Yujie Tang and Meiling Wang and Yinan Deng and Zibo Zheng and Jiagui Zhong and Yufeng Yue},
journal= {arXiv preprint arXiv:2409.18743},
year = {2024}
}
备注
Project website: https://openobject-nav.github.io/