自演化神经辐射场
计算机视觉与模式识别
2023-12-06 v2
摘要
近年来，神经辐射场（NeRF）在新视角合成和三维重建中展现了卓越性能。然而，它仍然需要大量高质量图像，限制了其在真实场景中的适用性。为克服这一限制，近期工作专注于通过添加额外正则化仅用稀疏视角训练NeRF，通常称为少样本NeRF。我们观察到，由于任务的欠约束性质，仅使用额外正则化不足以防止模型对稀疏视角过拟合。本文提出一种新颖框架，称为自演化神经辐射场（SE-NeRF），将自训练框架应用于NeRF以解决这些问题。我们将少样本NeRF构建为教师-学生框架，通过用教师生成的额外伪标签训练学生，引导网络学习更鲁棒的场景表示。通过使用针对可靠和不可靠射线的不同蒸馏方案来蒸馏射线级伪标签（这些射线通过我们新颖的可靠性估计方法获得），使NeRF能够学习更准确和鲁棒的3D场景几何。我们展示并评估了将自训练框架应用于现有模型可提高渲染图像质量，并在多种设置下达到最先进性能。
引用
@article{arxiv.2312.01003,
title = {Self-Evolving Neural Radiance Fields},
author = {Jaewoo Jung and Jisang Han and Jiwon Kang and Seongchan Kim and Min-Seop Kwak and Seungryong Kim},
journal= {arXiv preprint arXiv:2312.01003},
year = {2023}
}
备注
34 pages, 21 figures Our project page can be found at : https://ku-cvlab.github.io/SE-NeRF/