Aug-NeRF：利用三级物理 grounded 增强训练更强的神经辐射场
计算机视觉与模式识别
2022-07-05 v1
摘要
神经辐射场（NeRF）通过以真值监督微分渲染多视角图像来回归一个神经参数化场景。然而，在插值新视角时，NeRF 经常产生不一致且视觉上不平滑的几何结果，我们将其视为已见与未见视角之间的泛化差距。卷积神经网络的最新进展已表明，先进的鲁棒数据增强（无论是随机的还是学习的）在提升分布内与分布外泛化方面具有潜力。受此启发，我们提出增强型 NeRF（Aug-NeRF），首次将鲁棒数据增强的力量引入以正则化 NeRF 训练。具体而言，我们的方法学习将最坏情况扰动以物理依据无缝融合到 NeRF 流水线的三个不同层级，包括：（1）输入坐标，以模拟图像采集时不精确的相机参数；（2）中间特征，以平滑内在特征流形；以及（3）预渲染输出，以考虑多视角图像监督中潜在的退化因素。大量结果表明，Aug-NeRF 在新视角合成（最高 1.5dB PSNR 增益）与底层几何重建上均有效提升 NeRF 性能。此外，得益于三级增强所注入的隐式平滑先验，Aug-NeRF 甚至能从严重损坏的图像中恢复场景，这是一个此前未被解决的极具挑战性的设定。我们的代码见 https://github.com/VITA-Group/Aug-NeRF。
引用
@article{arxiv.2207.01164,
title = {Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations},
author = {Tianlong Chen and Peihao Wang and Zhiwen Fan and Zhangyang Wang},
journal= {arXiv preprint arXiv:2207.01164},
year = {2022}
}
备注
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2022