坐标并不孤单——码本先验助力隐式神经三维表示
计算机视觉与模式识别
2022-10-24 v2
摘要
隐式神经三维表示在表面或场景重建以及新视角合成方面取得了令人印象深刻的成果，其通常使用基于坐标的多层感知机（MLPs）来学习连续的场景表示。然而，现有方法如神经辐射场（NeRF）及其变体，通常需要密集的输入视角（即50-150个）才能获得像样的结果。为缓解对大量标定图像的过度依赖并丰富基于坐标的特征表示，我们探索将先验信息注入基于坐标的网络，并引入一种新颖的基于坐标的模型 CoCo-INR，用于隐式神经三维表示。我们方法的核心是两个注意力模块：码本注意力和坐标注意力。前者从先验码本中提取包含丰富几何与外观信息的有用原型，后者将此类先验信息传播至每个坐标，并丰富其对场景或物体表面的特征表示。借助先验信息，我们的方法能用更少的可用标定图像渲染出比当前方法更具真实感外观与几何的细节。在包括 DTU 和 BlendedMVS 在内的多种场景重建数据集以及完整三维头部重建数据集 H3DS 上的实验，证明了我们所提方法在更少输入视角下的鲁棒性与细节保持能力。
引用
@article{arxiv.2210.11170,
title = {Coordinates Are NOT Lonely -- Codebook Prior Helps Implicit Neural 3D Representations},
author = {Fukun Yin and Wen Liu and Zilong Huang and Pei Cheng and Tao Chen and Gang YU},
journal= {arXiv preprint arXiv:2210.11170},
year = {2022}
}
备注
NeurIPS 2022