FlipNeRF：用于少样本新视角合成的翻转反射射线
计算机视觉与模式识别
2023-08-15 v4
摘要
神经辐射场（NeRF）以其卓越的渲染图像质量和简洁的架构，已成为新视角合成领域的主流方法。尽管 NeRF 已在多个方向上不断发展并持续提升性能，但密集多视角图像集的必要性仍是阻碍其实际应用进展的绊脚石。在本工作中，我们提出 FlipNeRF，一种利用我们所提出的翻转反射射线进行少样本新视角合成的新正则化方法。翻转反射射线由输入射线方向与估计法向量显式导出，充当有效的额外训练射线，同时能够估计更精确的表面法线并有效学习三维几何。由于表面法线与场景深度均由沿射线的估计密度导出，精确的表面法线可带来更确切的深度估计，而后者是少样本新视角合成的关键因素。此外，借助我们提出的不确定性感知空白损失与瓶颈特征一致性损失，FlipNeRF 能够在不同场景结构下有效减少漂浮伪影并估计更可靠的输出，且无需任何额外特征提取器即可增强投向光一致性像素的射线对之间的特征级一致性。我们的 FlipNeRF 在多个基准测试的所有场景下均达到了 SOTA 性能。
引用
@article{arxiv.2306.17723,
title = {FlipNeRF: Flipped Reflection Rays for Few-shot Novel View Synthesis},
author = {Seunghyeon Seo and Yeonjin Chang and Nojun Kwak},
journal= {arXiv preprint arXiv:2306.17723},
year = {2023}
}
备注
ICCV 2023. Project Page: https://shawn615.github.io/flipnerf/