可泛化的基于块神经渲染
计算机视觉与模式识别
2022-07-29 v2
摘要
自神经辐射场(NeRF)问世以来,神经渲染受到极大关注,并显著推进了新视角合成的最先进水平。近期焦点集中于对单一场景过拟合的模型,而少数尝试学习可合成未见场景新视角的模型大多由深度卷积特征与类 NeRF 模型结合而成。我们提出一种不同范式,无需深度特征也无需类 NeRF 体渲染。我们的方法能够直接预测新场景中目标光线的颜色,仅来自从场景采样的块集合。我们首先利用对极几何从每个参考视图沿对极线提取块。每个块被线性投影为 1D 特征向量,一系列 transformers 处理该集合。对于位置编码,我们将光线参数化为光场表示中的形式,关键区别在于坐标相对于目标光线被规范化,这使我们的方法独立于参考帧并改善泛化。我们表明,即使在训练数据远少于先前工作的情况下,我们的方法在新场景新视角合成上仍优于最先进水平。
引用
@article{arxiv.2207.10662,
title = {Generalizable Patch-Based Neural Rendering},
author = {Mohammed Suhail and Carlos Esteves and Leonid Sigal and Ameesh Makadia},
journal= {arXiv preprint arXiv:2207.10662},
year = {2022}
}
备注
Project Page with code and results at https://mohammedsuhail.net/gen_patch_neural_rendering/