R2L：将神经辐射场蒸馏为神经光场以实现高效新视角合成
计算机视觉与模式识别
2022-07-26 v2 人工智能
图形学
机器学习
摘要
近期关于神经辐射场（NeRF）的研究爆发显示出用神经网络表示复杂场景的令人鼓舞的潜力。NeRF 的一个主要缺陷是其高昂的推理时间：渲染单个像素需要查询 NeRF 网络数百次。为解决该问题，现有工作主要试图减少所需采样点的数量。然而，迭代采样的问题依然存在。另一方面，神经光场（NeLF）在新视角合成上相比 NeRF 提供了一种更直接的表示——像素的渲染等同于一次前向传播而无需光线步进。在本工作中，我们提出一个深度残差 MLP 网络（88 层）来有效学习光场。我们表明成功学习如此深度的 NeLF 网络的关键在于拥有充足的数据，为此我们通过数据蒸馏从预训练的 NeRF 模型迁移知识。在合成与真实场景上的大量实验展示了我们的方法相较于其他同类算法的优势。在合成场景上，我们实现了 26-35 倍 FLOPs 削减（每条相机光线）与 28-31 倍运行加速，同时无需任何定制并行要求即交付了显著优于 NeRF 的渲染质量（平均 PSNR 提升 1.4-2.8 dB）。
引用
@article{arxiv.2203.17261,
title = {R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis},
author = {Huan Wang and Jian Ren and Zeng Huang and Kyle Olszewski and Menglei Chai and Yun Fu and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2203.17261},
year = {2022}
}
备注
Accepted by ECCV 2022. Code: https://github.com/snap-research/R2L