利用低频神经场实现少样本视角合成
计算机视觉与模式识别
2023-03-16 v1
摘要
神经辐射场（NeRF）在新视角合成问题上取得了突破性进展。位置编码（P.E.）是NeRF取得优异性能的关键因素，其将低维坐标映射至高维空间以更好地恢复场景细节。然而，在重建问题高度欠约束时（例如仅以少样本图像训练），盲目提高P.E.频率会导致过拟合。我们利用低频神经场对高频神经场进行正则化以抑制过拟合，从而更好地解决少样本视角合成问题。我们提出先以仅含低频的场进行重建，再借助配备高频的场补全细节。与多数在输出空间（即渲染图像）正则化的现有方案不同，我们的正则化在输入空间（即信号频率）进行。我们进一步提出一种简单而有效的频率调谐策略以避免少样本输入过拟合：强制渲染二维图像频域间的一致性。得益于输入空间正则化方案，我们的方法可便捷地推广至空间位置之外的输入，如动态场景中的时间维度。在合成与自然数据集上与SOTA的对比验证了我们所提少样本视角合成方案的有效性。代码见https://github.com/lsongx/halo。
引用
@article{arxiv.2303.08370,
title = {Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis},
author = {Liangchen Song and Zhong Li and Xuan Gong and Lele Chen and Zhang Chen and Yi Xu and Junsong Yuan},
journal= {arXiv preprint arXiv:2303.08370},
year = {2023}
}