基于 3D 层次场景图的开放词汇室内物体定位方法 OVIGo-3DHSG

我们提出了 OVIGo-3DHSG 方法——利用 3D 层次场景图进行开放词汇室内物体定位。OVIGo-3DHSG 表示从 RGB-D 帧序列中派生出的层次场景图，以一组开放词汇基础模型和传感器数据处理为基础。该层次表示显式地建模了跨楼层、房间、位置和物体之间的空间关系。为了有效解决涉及对其他物体的空间引用的复杂查询，我们将层次场景图与大型语言模型集成，用于多步推理。该集成利用跨层（例如房间到物体）和同层（例如物体到物体）连接，增强了空间语境理解。我们检验了在 Habitat Matterport 3D 语义多楼层场景中层次表示的语义和几何准确性。我们的表方法在现有方法之上 demonstrate 了有效的场景理解和稳健的对象定位。总体而言，OVIGo-3DHSG 在需要空间推理和理解室内环境的应用中显示出强大的潜力。相关材料可在 https://github.com/linukc/OVIGo-3DHSG 查找。