用于隐式多视图深度估计的 SE(3) 等变射线嵌入

通过嵌入几何实体（如射线）作为输入来引入归纳偏置，已在多视图学习中被证明是成功的。然而，采用此技术的方法通常缺乏等变性，而等变性对于有效的 3D 学习至关重要。等变性作为一种有价值的归纳先验，有助于生成用于 3D 场景理解的鲁棒多视图特征。在本文中，我们探索将等变多视图学习应用于深度估计，不仅认识到其对计算机视觉和机器人学的重要性，还解决了先前研究的局限性。大多数先前的研究要么忽略了该设置中的等变性，要么仅通过数据增强实现近似等变性，这往往导致不同参考帧之间的不一致性。为解决此问题，我们提出将 $SE(3)$ 等变性嵌入 Perceiver IO 架构。我们采用球谐函数进行位置编码以确保 3D 旋转等变性，并在 Perceiver IO 架构内开发了专门的等变编码器和解码器。为验证我们的模型，我们将其应用于立体深度估计任务，在真实世界数据集上取得了最先进的结果，且无需显式几何约束或大量数据增强。