中文

几何代数平面:凸隐式神经体积

计算机视觉与模式识别 2024-11-22 v2

摘要

体积参数化在最近的文献中屡见不鲜,从经典的体素网格到隐式神经表示,乃至其之间的所有内容。虽然隐式表示相较于体素网格在表达能力和内存效率方面表现出色,但迄今为止仍需通过非凸优化进行训练。这种非凸训练过程可能收敛缓慢,对初始化和超参数选择敏感,影响最终收敛结果。我们引入了一系列模型GA-Planes,这是首个能够通过凸优化训练的隐式神经体积表示类。GA-Planes模型包括存储在张量基元中的任何特征组合,后跟神经特征解码器。它们概括了许多现有表示方法,并且可以针对不同的逆问题进行凸、准凸或非凸训练。在二维情形下,我们证明GA-Planes等价于低秩加上低分辨率矩阵分解;我们展示了这种近似优于经典的低秩加稀疏分解,用于拟合自然图像。在三维情况下,我们展示了GA-Planes在表达性、模型大小和可优化性方面在三个体积拟合任务中具有竞争力:辐射场重建、3D 分割和视频分割。

关键词

引用

@article{arxiv.2411.13525,
  title  = {Geometric Algebra Planes: Convex Implicit Neural Volumes},
  author = {Irmak Sivgin and Sara Fridovich-Keil and Gordon Wetzstein and Mert Pilanci},
  journal= {arXiv preprint arXiv:2411.13525},
  year   = {2024}
}

备注

Code is available at https://github.com/sivginirmak/Geometric-Algebra-Planes