RelationField：在辐射场中关联任何事物

神经辐射场是一种新兴的 3D 场景表示方法，最近甚至通过从视觉-语言模型中蒸馏开放词汇特征，被扩展用于学习场景理解的特征。然而，当前方法主要关注以物体为中心的表示，支持物体分割或检测，而理解物体之间的语义关系在很大程度上仍未被探索。为了填补这一空白，我们提出了 RelationField，这是第一种直接从神经辐射场中提取物体间关系的方法。RelationField 将物体之间的关系表示为神经辐射场内的一对射线，有效地扩展了其公式以包含隐式关系查询。为了教会 RelationField 复杂的、开放词汇的关系，从多模态 LLM 中蒸馏了关系知识。为了评估 RelationField，我们求解了开放词汇 3D 场景图生成任务和关系引导的实例分割任务，并在两项任务中均取得了 SOTA 性能。项目网站见 https://relationfield.github.io。