MobileNeRF：利用多边形光栅化管线在移动架构上实现高效神经场渲染
计算机视觉与模式识别
2023-05-31 v5 图形学
机器学习
摘要
神经辐射场（NeRFs）已展现出从新视角合成 3D 场景图像的惊人能力。然而，它们依赖于基于光线步进的专用体渲染算法，这与广泛部署的图形硬件能力不匹配。本文引入了一种基于带纹理多边形的新 NeRF 表示，可通过标准渲染管线高效合成新图像。该 NeRF 表示为一组多边形，其纹理表示二值不透明度和特征向量。利用 z-buffer 对传统多边形进行渲染，可得到每个像素均含特征的图像，这些特征由在片元着色器中运行的轻量、视角相关的 MLP 解释以生成最终像素颜色。该方法使 NeRF 能够用传统多边形光栅化管线渲染，从而提供大规模的像素级并行性，在包括手机在内的广泛计算平台上实现交互式帧率。
引用
@article{arxiv.2208.00277,
title = {MobileNeRF: Exploiting the Polygon Rasterization Pipeline for Efficient Neural Field Rendering on Mobile Architectures},
author = {Zhiqin Chen and Thomas Funkhouser and Peter Hedman and Andrea Tagliasacchi},
journal= {arXiv preprint arXiv:2208.00277},
year = {2023}
}
备注
CVPR 2023. Project page: https://mobile-nerf.github.io, code: https://github.com/google-research/jax3d/tree/main/jax3d/projects/mobilenerf