开放场景图用于开放世界对象-目标导航
机器人学
2024-07-03 v1
摘要
我们如何为开放世界语义导航任务构建机器人，例如在新场景中搜索目标对象？虽然基础模型拥有丰富的知识和所需的泛化能力，但需要合适的场景表示来将其连接成完整的机器人系统。我们通过开放场景图（OSGs）来解决这一问题，OSGs 是一种拓扑语义表示，保留并组织这些模型所需的开放集场景信息，并且具有可配置用于不同环境类型的结构。我们将基础模型和 OSGs 集成到用于开放世界对象-目标导航的 OpenSearch 系统中，后者能够在零样本条件下搜索由自然语言指定的开放集对象，同时在多样化的环境和 embodiment 中进行泛化。我们的 OSGs 通过增强大语言模型（LLM）的推理能力，实现了超越现有 LLM 方法的稳健对象-目标导航。通过仿真和实际实验，我们验证了 OpenSearch 在各种环境、机器人和新指令下的泛化能力。
关键词
引用
@article{arxiv.2407.02473,
title = {Open Scene Graphs for Open World Object-Goal Navigation},
author = {Joel Loo and Zhanxin Wu and David Hsu},
journal= {arXiv preprint arXiv:2407.02473},
year = {2024}
}