自适应渲染损失正则化的少样本NeRF
计算机视觉与模式识别
2024-10-24 v1
摘要
稀疏输入下的新视角合成给神经辐射场(NeRF)带来了巨大挑战。最近的研究表明，位置编码(PE)的频率正则化可以在少样本NeRF中取得有希望的结果。在这项工作中，我们揭示了PE的频率正则化与渲染损失之间存在不一致性。这阻碍了少样本NeRF合成更高质量的新视角。为了缓解这种不一致性，我们提出了用于少样本NeRF的自适应渲染损失正则化，称为AR-NeRF。具体来说，我们提出了一种两阶段渲染监督和自适应渲染损失权重学习策略，以对齐PE与2D像素监督之间的频率关系。通过这种方式，AR-NeRF可以在早期训练阶段更好地学习全局结构，并在整个训练过程中自适应地学习局部细节。大量实验表明，我们的AR-NeRF在不同数据集（包括物体级和复杂场景）上均达到了最先进的性能。
引用
@article{arxiv.2410.17839,
title = {Few-shot NeRF by Adaptive Rendering Loss Regularization},
author = {Qingshan Xu and Xuanyu Yi and Jianyao Xu and Wenbing Tao and Yew-Soon Ong and Hanwang Zhang},
journal= {arXiv preprint arXiv:2410.17839},
year = {2024}
}
备注
Accepted by ECCV2024