DONeRF：利用深度预言网络实现紧凑神经辐射场的实时渲染
计算机视觉与模式识别
2021-06-30 v4 图形学
摘要
近期围绕隐式神经表示（如 NeRF）的研究爆发表明，在紧凑神经网络中隐式存储高质量场景与光照信息具有巨大潜力。然而，阻碍 NeRF 用于实时渲染应用的一个主要局限是每条视线方向过量网络评估所带来的高昂计算成本，需要数十 petaFLOPS。在本工作中，我们将紧凑神经表示推向游戏与虚拟现实等实时应用中合成内容的实用渲染。我们表明，当样本放置在场景表面附近时，可在不损害图像质量的前提下显著减少每条视线所需的样本数。为此，我们提出一个深度预言网络，以单次网络评估预测每条视线的样本位置。我们表明，围绕对数离散化与球面扭曲深度值使用分类网络对于编码表面位置而非直接估计深度至关重要。这些技术的结合催生了 DONeRF——我们的紧凑双网络设计，以深度预言网络为第一步，并以局部采样着色网络进行光线累积。借助 DONeRF，在利用可用真实深度信息作条件时，我们将推理成本相较 NeRF 降低至多 48 倍。与基于光线行进神经表示的并行加速方法相比，DONeRF 不需要额外内存用于显式缓存或加速结构，并可在单 GPU 上交互式渲染（每秒 20 帧）。
引用
@article{arxiv.2103.03231,
title = {DONeRF: Towards Real-Time Rendering of Compact Neural Radiance Fields using Depth Oracle Networks},
author = {Thomas Neff and Pascal Stadlbauer and Mathias Parger and Andreas Kurz and Joerg H. Mueller and Chakravarty R. Alla Chaitanya and Anton Kaplanyan and Markus Steinberger},
journal= {arXiv preprint arXiv:2103.03231},
year = {2021}
}
备注
Accepted to EGSR 2021 in the CGF track; Project website: https://depthoraclenerf.github.io/