3D-IDE：三维隐式深度涌现

在多模态大型语言模型（MLLM）中利用三维信息，最近在室内场景理解方面显示出显著优势。然而，现有方法，包括那些使用显式真实三维位置编码的方法和那些嫁接外部三维基础模型以获取隐式几何的方法，都在二维-三维表示融合的权衡中挣扎，导致部署效果不佳。为此，我们提出了三维隐式深度涌现（3D-Implicit Depth Emergence），这是一种将三维感知重构为源自几何自监督的涌现属性，而非显式编码的方法。我们的核心见解是隐式几何涌现原理：通过策略性地利用特权几何监督，例如通过细粒度几何验证器和全局表示约束等机制，我们构建了一个信息瓶颈。这个瓶颈迫使模型最大化视觉特征与三维结构之间的互信息，使三维意识在统一的视觉表示中自然涌现。与现有方法不同，我们的方法使三维感知能够隐式涌现，解耦密集区域的特征，并且至关重要的是，在推理过程中消除了深度和姿态依赖，实现了零延迟开销。这种从外部嫁接到隐式涌现的范式转变，代表了对视觉-语言模型中三维知识整合的根本性反思。大量实验表明，我们的方法在多个三维场景理解基准上超越了 SOTA。我们的方法在保持跨多种下游任务强大性能的同时，实现了 55% 的推理延迟降低，突显了精心设计的辅助目标对于无依赖三维理解的有效性。源代码可在 github.com/ChushanZhang/3D-IDE 找到。