ColNeRF：面向可泛化稀疏输入神经辐射场的协作方法
计算机视觉与模式识别
2023-12-18 v2
摘要
神经辐射场（NeRF）在从密集输入合成新视角方面展现了令人印象深刻的潜力，然而在处理稀疏输入时其有效性受到挑战。现有方法通过引入额外的深度或语义监督可以在一定程度上缓解这一问题，但监督收集过程不仅成本高昂，而且可能不准确，导致在不同场景下的性能和泛化能力较差。在我们的工作中，我们引入了一个新颖模型：协作神经辐射场（ColNeRF），专为稀疏输入设计。ColNeRF中的协作包括稀疏输入图像之间的协作以及神经辐射场输出之间的协作。通过这种方式，我们构建了一个新颖的协作模块，该模块对齐来自不同视角的信息，同时施加自监督约束以确保几何和外观上的多视角一致性。我们提出了一个协作跨视角体积集成模块（CCVI）来捕获复杂的遮挡并隐式推断物体的空间位置。此外，我们引入了目标射线在多个方向投影的自监督，以确保相邻区域的几何和颜色一致性。得益于输入和输出端的协作，ColNeRF能够捕获更丰富和更泛化的场景表示，从而促进更高质量的新视角合成结果。大量实验表明，ColNeRF优于最先进的稀疏输入可泛化NeRF方法。此外，我们的方法在适应新场景的微调中表现出优越性，与基于逐场景优化的NeRF方法相比，实现了有竞争力的性能，同时显著降低了计算成本。我们的代码可在 https://github.com/eezkni/ColNeRF 获取。
引用
@article{arxiv.2312.09095,
title = {ColNeRF: Collaboration for Generalizable Sparse Input Neural Radiance Field},
author = {Zhangkai Ni and Peiqi Yang and Wenhan Yang and Hanli Wang and Lin Ma and Sam Kwong},
journal= {arXiv preprint arXiv:2312.09095},
year = {2023}
}