SpectralNeRF：基于神经辐射场的物理光谱渲染
计算机视觉与模式识别
2023-12-15 v1
摘要
在本文中，我们提出了 SpectralNeRF，这是一种端到端的基于神经辐射场（NeRF）的架构，旨在从全新的光谱视角实现高质量的基于物理的渲染。我们将经典的光谱渲染修改为两个主要步骤：1）生成一系列跨越不同波长的光谱图；2）将这些光谱图组合以输出 RGB 图像。我们的 SpectralNeRF 通过所提出的基于多层感知机（MLP）的架构（SpectralMLP）和光谱注意力 UNet（SAUNet）来实现这两个步骤。给定光线起点和光线方向，SpectralMLP 构建光谱辐射场以获得新视角的光谱图，随后将其发送至 SAUNet 以生成白光照明下的 RGB 图像。从光线追踪的角度来看，应用 NeRF 构建光谱渲染是一种更具物理基础的方法。此外，光谱辐射场能够分解复杂场景，并提升基于 NeRF 方法的性能。综合实验结果表明，在合成数据集和真实数据集上合成新视角时，所提出的 SpectralNeRF 优于近期的基于 NeRF 的方法。代码和数据集可在 https://github.com/liru0126/SpectralNeRF 获取。
引用
@article{arxiv.2312.08692,
title = {SpectralNeRF: Physically Based Spectral Rendering with Neural Radiance Field},
author = {Ru Li and Jia Liu and Guanghui Liu and Shengping Zhang and Bing Zeng and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2312.08692},
year = {2023}
}
备注
Accepted by AAAI 2024