Re-ReND：跨设备的神经辐射场实时渲染
计算机视觉与模式识别
2023-03-16 v1 图形学
摘要
本文提出了一种在资源受限设备上实时渲染预训练神经辐射场（Neural Radiance Field, NeRF）的新方法。我们引入 Re-ReND，一种实现跨设备神经辐射场实时渲染（Real-time Rendering of NeRFs across Devices）的方法。Re-ReND 旨在通过将 NeRF 转换为可由标准图形管线高效处理的表示来实现实时性能。所提方法通过提取学习到的密度到网格中来蒸馏 NeRF，而学习到的颜色信息被分解为一组表示场景光场的矩阵。分解意味着通过廉价的无 MLP 矩阵乘法查询该场，而使用光场允许通过单次查询场来渲染一个像素——而非使用辐射场时的数百次查询。由于所提表示可使用片元着色器实现，它可直接与标准光栅化框架集成。我们灵活的实现在低内存需求下实时渲染 NeRF，并适用于包括手机和 AR/VR 头显在内的广泛资源受限设备。值得注意的是，我们发现 Re-ReND 相较于最先进水平可实现超过 2.6 倍的渲染速度提升，且无感知质量损失。
引用
@article{arxiv.2303.08717,
title = {Re-ReND: Real-time Rendering of NeRFs across Devices},
author = {Sara Rojas and Jesus Zarzar and Juan Camilo Perez and Artsiom Sanakoyeu and Ali Thabet and Albert Pumarola and Bernard Ghanem},
journal= {arXiv preprint arXiv:2303.08717},
year = {2023}
}