MixRT：用于实时 NeRF 渲染的混合神经表示
计算机视觉与模式识别
2025-03-31 v5
摘要
Neural Radiance Field (NeRF) 已成为新视角合成的领先技术，这得益于其令人印象深刻的逼真重建与渲染能力。然而，在大规模场景中实现实时 NeRF 渲染一直面临挑战，通常导致采用包含大量三角形的复杂烘焙网格表示，或在烘焙表示中进行资源密集型的光线行进。我们挑战了这些惯例，观察到由包含大量三角形的网格表示的高质量几何对于实现逼真的渲染质量并非必要。因此，我们提出了 MixRT，一种新颖的 NeRF 表示，包含低质量网格、视角相关的位移图和压缩的 NeRF 模型。这种设计有效利用了现有图形硬件的能力，从而在边缘设备上实现实时 NeRF 渲染。借助高度优化的基于 WebGL 的渲染框架，我们提出的 MixRT 在边缘设备上实现了实时渲染速度（在 MacBook M1 Pro 笔记本电脑上以 1280 x 720 分辨率超过 30 FPS），更好的渲染质量（在 Unbounded-360 数据集的室内场景中 PSNR 高 0.2），以及更小的存储大小（与 SOTA 方法相比小于 80%）。
引用
@article{arxiv.2312.11841,
title = {MixRT: Mixed Neural Representations For Real-Time NeRF Rendering},
author = {Chaojian Li and Bichen Wu and Peter Vajda and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2312.11841},
year = {2025}
}
备注
Accepted by 3DV'24. Project Page: https://licj15.github.io/MixRT/