内蕴神经场：流形上的函数学习
计算机视觉与模式识别
2022-03-24 v3 机器学习
摘要
神经场因在 novel view synthesis（新视角合成）、几何重建和生成建模方面的优异表现而受到计算机视觉界的显著关注。其部分优势在于坚实的理论基础和在当前深度学习框架中的简便实现。虽然神经场已应用于流形上的信号，例如用于纹理重建，但其表示局限于将形状外在地嵌入欧几里得空间。外在嵌入忽略了已知的内蕴流形属性，并且对于所学函数的迁移不够灵活。为克服这些局限，本工作引入内蕴神经场，一种新颖且通用的流形上神经场表示。内蕴神经场将神经场的优势与 Laplace-Beltrami 算子的谱特性相结合。我们从理论上证明内蕴神经场继承了外在神经场框架的许多理想性质，同时展现出如等距不变性的额外内蕴品质。在实验中，我们展示内蕴神经场能以最先进的品质从图像重建高保真纹理，并且对底层流形的离散化具有鲁棒性。我们通过处理多种应用展示了内蕴神经场的通用性：变形形状间与不同形状间的纹理迁移、具有视角依赖性的真实世界图像纹理重建，以及在网格和点云上离散化无关的学习。
引用
@article{arxiv.2203.07967,
title = {Intrinsic Neural Fields: Learning Functions on Manifolds},
author = {Lukas Koestler and Daniel Grittner and Michael Moeller and Daniel Cremers and Zorah Lähner},
journal= {arXiv preprint arXiv:2203.07967},
year = {2022}
}