基于空间退火的高效少样本神经渲染
计算机视觉与模式识别
2024-12-16 v2
摘要
神经辐射场(NeRF)采用混合表示已展现出用于新视角合成的卓越能力,实现高效。然而,在稀疏输入视图时,其性能显著下降。已设计多种正则化策略以解决这些挑战。但这些策略要么需要额外的渲染成本,要么涉及复杂的管道设计,导致训练效率下降。虽然FreeNeRF引入了高效频率退火策略,但其在频率位置编码上运行,与高效混合表示不兼容。本文引入一种准确且高效的少样本神经渲染方法,命名为\textbf{S}patial \textbf{A}nnealing regularized \textbf{NeRF} (\textbf{SANeRF}),采用混合表示的预过滤设计。我们首先通过推导其过滤过程,建立混合架构的频带限制的解析公式。基于此分析,我们提出一种在空间域中的通用频率退火形式,可通过调制采样核从初始狭窄网格切线核谱系指数收缩来实现。这种方法对于稳定训练初期至关重要,并显著促进后续细节细化过程。我们的广泛实验表明,仅通过添加一行代码,SANeRF在渲染质量和重建速度方面均优于当前少样本神经渲染方法。值得注意的是,SANeRF在Blender数据集上比FreeNeRF快700倍。
引用
@article{arxiv.2406.07828,
title = {Spatial Annealing for Efficient Few-shot Neural Rendering},
author = {Yuru Xiao and Deming Zhai and Wenbo Zhao and Kui Jiang and Junjun Jiang and Xianming Liu},
journal= {arXiv preprint arXiv:2406.07828},
year = {2024}
}
备注
AAAI 2025, code available at https://github.com/pulangk97/SANeRF