CMC：通过跨视图多平面一致性实现少样本新视角合成
计算机视觉与模式识别
2024-02-27 v1 图形学
摘要
神经辐射场 (NeRF) 凭借其连续表示场景的能力，在新视角合成方面展示了令人印象深刻的结果，特别是在虚拟现实 (VR) 和增强现实 (AR) 领域。然而，当仅有少量输入视图图像可用时，NeRF 倾向于过拟合给定视图，从而导致估计的像素深度几乎共享相同的值。与之前通过引入复杂先验或额外监督来进行正则化的方法不同，我们提出了一种简单而有效的方法，通过显式构建输入视图间的深度感知一致性来应对这一挑战。我们的核心见解是，通过强制相同的空间点在不同的输入视图中被重复采样，我们能够加强视图间的交互，从而缓解过拟合问题。为了实现这一点，我们将神经网络建立在分层表示（即多平面图像）上，因此采样点可以在多个离散平面上重新采样。此外，为了正则化未见过的目标视图，我们约束来自不同输入视图的渲染颜色和深度保持一致。虽然方法简单，但大量实验表明，我们提出的方法在合成质量上优于最先进 (SOTA) 的方法。
引用
@article{arxiv.2402.16407,
title = {CMC: Few-shot Novel View Synthesis via Cross-view Multiplane Consistency},
author = {Hanxin Zhu and Tianyu He and Zhibo Chen},
journal= {arXiv preprint arXiv:2402.16407},
year = {2024}
}
备注
Accepted by IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2024)