神经辐射场内部机制分析
计算机视觉与模式识别
2024-04-12 v2 图形学
摘要
现代神经辐射场（NeRF）利用提议网络采样器学习从位置到体密度的映射。与采用两个 NeRF 的由粗到细采样方法相比，这为使用更低网络容量实现加速提供了显著潜力。鉴于 NeRF 将大部分网络容量用于估计辐射，它们可能在其参数或深层特征中存储有价值的密度信息。为研究该假设，我们退一步分析用于由粗到细采样的已训练大型 ReLU-MLP。基于我们新颖的激活可视化方法，我们发现已训练的 NeRF、Mip-NeRF 与提议网络采样器将高密度的样本映射为激活特征空间中沿一条射线的局部极小值。我们展示了如何通过将中间激活转换为权重估计来加速这些大型 MLP，而无需修改训练协议或网络架构。借助我们的方法，可在仅轻微影响渲染质量的情况下将已训练 NeRF 的计算需求降低多达 50%。在多种数据集与架构上的大量实验评估证明了我们方法的有效性。因此，我们的方法为理解 NeRF 的内部运作提供了有价值的洞见。
引用
@article{arxiv.2306.00696,
title = {Analyzing the Internals of Neural Radiance Fields},
author = {Lukas Radl and Andreas Kurz and Michael Steiner and Markus Steinberger},
journal= {arXiv preprint arXiv:2306.00696},
year = {2024}
}
备注
Accepted to CVPRW'24! Project Page: https://r4dl.github.io/nerfinternals/