用于无约束图像集合新视角合成的跨射线神经辐射场
计算机视觉与模式识别
2023-08-16 v2
摘要
神经辐射场（NeRF）是一种通过每像素采样单条射线来渲染场景的革命性方法，并已展示出从静态场景图像进行新视角合成的令人印象深刻的能力。然而在实践中，我们通常需要从无约束图像集合中恢复 NeRF，这带来两个挑战：1）由于不同的拍摄时间与相机设置，图像在外观上常有动态变化；2）图像可能包含诸如人与车等瞬态物体，导致遮挡与重影伪影。常规方法试图通过局部利用单条射线合成像素颜色来应对这些挑战。相反，人类通常通过全局利用跨多像素的信息来感知外观与物体。为模拟人类感知过程，本文提出跨射线 NeRF（CR-NeRF），其利用跨多条射线的交互信息来合成无遮挡、与图像外观相同的新视角。具体而言，为建模变化的外观，我们首先提出用新颖的跨射线特征表示多条射线，然后通过融合全局统计（即射线的特征协方差与图像外观）恢复外观。此外，为避免瞬态物体引入的遮挡，我们提出一种瞬态物体处理器并引入网格采样策略以掩蔽掉瞬态物体。我们从理论上发现，利用跨多条射线的相关性有助于捕获更多全局信息。此外，在大型真实世界数据集上的大量实验结果验证了 CR-NeRF 的有效性。
引用
@article{arxiv.2307.08093,
title = {Cross-Ray Neural Radiance Fields for Novel-view Synthesis from Unconstrained Image Collections},
author = {Yifan Yang and Shuhai Zhang and Zixiong Huang and Yubing Zhang and Mingkui Tan},
journal= {arXiv preprint arXiv:2307.08093},
year = {2023}
}
备注
ICCV 2023 Oral