语言嵌入高斯溅 (LEGS)：移动机器人逐步构建房间级表示
机器人学
2024-09-27 v1
摘要
构建语义 3D 地图对于在办公室、仓库、商店和家中寻找感兴趣的对象具有重要价值。我们提出了一个映射系统，用于逐步构建语言嵌入高斯溅 (LEGS)：一种详细的 3D 场景表示，编码了外观和语义的统一表示。LEGS 在机器人遍历其环境时进行在线训练，以实现对开放词汇对象查询的定位。我们在 4 个房间级场景上对 LEGS 进行评估，通过查询场景中的对象来评估 LEGS 如何捕获语义含义。我们将 LEGS 与 LERF 进行比较，发现虽然两个系统在对象查询成功率方面相当，但 LEGS 的训练速度是 LERF 的 3.5 倍。结果表明，多摄像头 setup 和增量束束调整可以提高受限机器人轨迹中的视觉重建质量，并且 LEGS 能够实现对开放词汇和长尾对象查询的最高 66% 准确率的定位。
引用
@article{arxiv.2409.18108,
title = {Language-Embedded Gaussian Splats (LEGS): Incrementally Building Room-Scale Representations with a Mobile Robot},
author = {Justin Yu and Kush Hari and Kishore Srinivas and Karim El-Refai and Adam Rashid and Chung Min Kim and Justin Kerr and Richard Cheng and Muhammad Zubair Irshad and Ashwin Balakrishna and Thomas Kollar and Ken Goldberg},
journal= {arXiv preprint arXiv:2409.18108},
year = {2024}
}