面向实时抗锯齿神经渲染的多尺度表示
计算机视觉与模式识别
2023-09-19 v2
摘要
神经辐射场(NeRF)中的渲染方案通过向场景投射光线来有效渲染一个像素。然而，当训练图像以非均匀尺度捕获时，NeRF 产生模糊的渲染结果；若测试图像取自远距离视角，则会出现混叠伪影。为解决此问题，Mip-NeRF 提出以圆锥台形式的多尺度表示来编码尺度信息。然而，该方法仅适用于离线渲染，因其依赖积分位置编码(IPE)查询多层感知机(MLP)。为克服该限制，我们提出 mip 体素网格(Mip-VoG)，一种具有延迟架构的显式多尺度表示，用于实时抗锯齿渲染。我们的方法包括用于场景几何的密度 Mip-VoG，以及带有小型 MLP 的用于视角相关颜色的特征 Mip-VoG。Mip-VoG 利用由光线微分导出的细节层次(LOD)编码场景尺度，并使用四次线性插值将查询的 3D 位置映射到来自两个相邻下采样体素网格的特征与密度。据我们所知，我们的方法是首个同时提供多尺度训练与实时抗锯齿渲染的方法。我们在多尺度数据集上进行了实验，结果表明我们的方法优于最先进的实时渲染基线。
引用
@article{arxiv.2304.10075,
title = {Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering},
author = {Dongting Hu and Zhenkai Zhang and Tingbo Hou and Tongliang Liu and Huan Fu and Mingming Gong},
journal= {arXiv preprint arXiv:2304.10075},
year = {2023}
}