面向可泛化辐射场表示的局部隐式射线函数
计算机视觉与模式识别
2023-04-26 v1
摘要
我们提出 LIRF（局部隐式射线函数，Local Implicit Ray Function），一种用于新视角渲染的可泛化神经渲染方法。当前可泛化的神经辐射场（NeRF）方法对每个像素用单条射线采样场景，当输入视角与渲染视角以不同分辨率捕捉场景内容时，可能渲染出模糊或走样的视图。为解决此问题，我们提出 LIRF，聚合锥形视锥体的信息以构建一条射线。给定锥形视锥体内的三维位置，LIRF 以三维坐标和锥形视锥体特征为输入，预测局部体积辐射场。由于坐标连续，LIRF 通过体渲染以连续值尺度渲染高质量新视角。此外，我们通过基于 transformer 的特征匹配预测每个输入视角的可见权重，以提升遮挡区域的性能。在真实场景上的实验结果验证了我们的方法在任意尺度下未见场景的新视角渲染上优于最先进的方法。
引用
@article{arxiv.2304.12746,
title = {Local Implicit Ray Function for Generalizable Radiance Field Representation},
author = {Xin Huang and Qi Zhang and Ying Feng and Xiaoyu Li and Xuan Wang and Qing Wang},
journal= {arXiv preprint arXiv:2304.12746},
year = {2023}
}
备注
Accepted to CVPR 2023. Project page: https://xhuangcv.github.io/lirf/