面向真实室内空间的开放词汇功能 3D 场景图
计算机视觉与模式识别
2025-03-26 v1
摘要
我们提出了从带姿态的 RGB-D 图像预测真实室内环境功能 3D 场景图的任务。与传统 3D 场景图侧重于对象之间的空间关系不同，功能 3D 场景图捕捉对象、交互元素及其功能关系。由于缺乏训练数据，我们利用基础模型，包括视觉语言模型（VLM）和大语言模型（LLM），对功能知识进行编码。我们在扩展的 SceneFun3D 数据集和一个新收集的数据集 FunGraph3D 上进行评估，两者都标注了功能 3D 场景图。我们的方法显著优于调整后的基线方法，包括 Open3DSG 和 ConceptGraph，显示其在建模复杂场景功能方面的有效性。我们还演示了利用功能 3D 场景图进行 3D 问答和机器人操作等下游应用。请参阅我们的项目页面 https://openfungraph.github.io
引用
@article{arxiv.2503.19199,
title = {Open-Vocabulary Functional 3D Scene Graphs for Real-World Indoor Spaces},
author = {Chenyangguang Zhang and Alexandros Delitzas and Fangjinhua Wang and Ruida Zhang and Xiangyang Ji and Marc Pollefeys and Francis Engelmann},
journal= {arXiv preprint arXiv:2503.19199},
year = {2025}
}
备注
Accepted at CVPR 2025