面向室内空间的层次化与整体化开放词汇功能性三维场景图
机器人学
2026-05-18 v1 计算机视觉与模式识别
摘要
功能性三维场景图由物体节点、交互元素和功能性关系边定义，为三维场景理解和机器人操作提供了一种通用且灵活的表示。然而，由于现有基准覆盖范围有限，以及先前流程设计过于简单（主要关注大型家具但缺乏层次结构），其潜力仍未得到充分探索。因此，在本工作中，我们通过引入密集的桌面物体和显式的多层次功能关系来扩展基准覆盖范围。这一扩展带来了关键挑战，涉及小尺度、密集且相似的实例，在关系推理中缺乏视觉锚定，跨帧融合中的实例混淆，以及动态视角下的属性不确定性。为解决这些问题，我们提出了一种基于二维视觉定位和三维图优化的开放词汇流程。具体来说，我们从二维视觉证据中锚定细粒度的功能边，并利用多种线索在三维空间中跨帧关联节点。此外，边关联被形式化为时序图优化，整合了证据积累、熵正则化和时序平滑，以鲁棒地确定每个节点的功能连接。最后，进行全局层次塑造以恢复层次图结构。大量实验表明，所提出的方法能够在具有挑战性的真实场景中可靠地推断功能性三维场景图，从而进一步释放其在实际应用中的潜力。
引用
@article{arxiv.2605.15753,
title = {Hierarchical and Holistic Open-Vocabulary Functional 3D Scene Graphs for Indoor Spaces},
author = {Xinggang Hu and Chenyangguang Zhang and Alexandros Delitzas and Xiangkui Zhang and Marc Pollefeys and Francis Engelmann and Xiangyang Ji},
journal= {arXiv preprint arXiv:2605.15753},
year = {2026}
}