等变光场卷积与 Transformer

当输入视图在覆盖率和视图间基线方面不足时，3D重建和新视图渲染可以极大地受益于几何先验。从2D图像中深度学习几何先验通常需要将每幅图像表示在 $2D$ 标准坐标系中，并在给定或学习到的 $3D$ 标准坐标系中学习先验。在本文中，仅给定相机的相对位姿，我们通过在3D射线空间中提出 $SE(3)$-等变卷积和 Transformer，展示了如何从多个视图中学习对坐标系变换等变的先验。这使得能够创建对坐标系选择保持等变的光场。我们工作中定义的光场既指辐射场，也指定义在射线空间上的特征场。我们将光场的定义域射线空间建模为 $SE(3)$ 的齐性空间，并引入了射线空间中的 $SE(3)$-等变卷积。根据卷积的输出域，我们提出了从射线空间到射线空间以及到 $\mathbb{R}^3$ 的基于卷积的 $SE(3)$-等变映射。我们的数学框架使我们能够超越卷积，在射线空间中实现 $SE(3)$-等变注意力。我们展示了如何在等变神经渲染和多视图3D重建任务中定制和调整等变卷积与 Transformer。我们通过在不进行变换增强的情况下在旋转-平移数据集中获得稳健结果，展示了 $SE(3)$-等变性。