UNeRF：一种兼顾时间与内存消耗的 U 形网络用于训练神经辐射场
计算机视觉与模式识别
2022-06-27 v1 图形学
摘要
神经辐射场（NeRFs）提升了新视角合成与场景重建的细节，其应用范围从大型静态场景到动态人体运动。然而，此类神经场分辨率的提升与无模型特性是以高昂的训练时间和过度的内存需求为代价的。近期进展通过使用互补数据结构改善了推理时间，但这些方法不适用于动态场景且往往增加内存消耗。在减少训练时所需资源方面所做的工作甚少。我们提出一种方法，通过相邻采样点之间部分共享评估来利用 NeRF 基于采样的计算中的冗余。我们的 UNeRF 架构受 UNet 启发，在网络中部降低空间分辨率并在相邻样本间共享信息。尽管这一改变违背了 NeRF 方法中视角相关外观与视角无关密度估计的严格且刻意的分离，我们表明它改善了新视角合成。我们还引入了一种替代的子采样策略，在共享计算的同时最小化对视角不变性的任何违背。UNeRF 是原始 NeRF 网络的一个插件模块。我们的主要贡献包括减少内存占用、提高精度，以及在训练和推理期间降低摊还处理时间。仅借助对局部性的弱假设，我们在多种神经辐射场任务上实现了改进的资源利用。我们展示了在静态场景新视角合成以及动态人体形状与运动上的应用。
引用
@article{arxiv.2206.11952,
title = {UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields},
author = {Abiramy Kuganesan and Shih-yang Su and James J. Little and Helge Rhodin},
journal= {arXiv preprint arXiv:2206.11952},
year = {2022}
}