利用数据图将 3D 推理扩展到大型机器人任务环境
机器人学
2024-07-16 v1 人工智能
摘要
本文解决了将大型多模态模型 (LMM) 扩展至广阔 3D 环境的挑战。解决这一问题尤为重要，因为在许多一级响应场景中（如覆盖广阔空间的搜救任务）都需要部署机器人。当前使用 LMM 的限制在于严格的上下文窗口限制了模型输入的规模。因此，我们引入一种新方法，利用数据图结构，使 LMM 能够迭代查询大型环境中较小的区域。结合数据图和图遍历算法，我们可以优先选择与查询最相关的地点，从而提高 3D 场景语言任务的可扩展性。我们使用 3D 场景说明数据图，但这些场景可以轻松替换为其他稠密模态表示的环境，如点云或高斯渲染。我们演示了利用数据图进行两种 3D 场景语言任务用例的潜力，以搜救任务为例。
引用
@article{arxiv.2407.10743,
title = {Scaling 3D Reasoning with LMMs to Large Robot Mission Environments Using Datagraphs},
author = {W. J. Meijer and A. C. Kemmeren and E. H. J. Riemens and J. E. Fransman and M. van Bekkum and G. J. Burghouts and J. D. van Mil},
journal= {arXiv preprint arXiv:2407.10743},
year = {2024}
}
备注
Accepted to the RSS Workshop on Semantics for Robotics: From Environment Understanding and Reasoning to Safe Interaction 2024