FreeNeRF：利用自由频率正则化改进少样本神经渲染
计算机视觉与模式识别
2023-03-15 v1
摘要
基于稀疏输入的新视角合成是神经辐射场（NeRF）的一个挑战性问题。近期工作通过引入外部监督（如预训练模型与额外深度信号）以及非平凡的基于块的渲染来缓解该挑战。本文中，我们提出频率正则化 NeRF（FreeNeRF），一个令人惊讶的简单基线，仅对普通 NeRF 做最小修改即优于先前方法。我们分析了少样本神经渲染的关键挑战，发现频率在 NeRF 训练中起着重要作用。基于该分析，我们提出两项正则化项。其一正则化 NeRF 输入的频率范围，其二惩罚近相机密度场。两项技术均为“免费午餐”，不带来额外计算成本。我们证明即便仅改动一行代码，原始 NeRF 在少样本设定下即可达到与其他复杂方法相近的性能。FreeNeRF 在包括 Blender、DTU 和 LLFF 在内的多样数据集上取得了最先进的性能。我们希望这一简单基线能促使人们重新思考频率在少样本及更广情形下 NeRF 训练中的基础作用。
引用
@article{arxiv.2303.07418,
title = {FreeNeRF: Improving Few-shot Neural Rendering with Free Frequency Regularization},
author = {Jiawei Yang and Marco Pavone and Yue Wang},
journal= {arXiv preprint arXiv:2303.07418},
year = {2023}
}
备注
Project page: https://jiawei-yang.github.io/FreeNeRF/, Code at: https://github.com/Jiawei-Yang/FreeNeRF