NeX：基于神经基函数扩展的实时新视角合成
计算机视觉与模式识别
2021-04-13 v2 图形学
机器学习
摘要
我们提出 NeX，一种基于多平面图像（MPI）增强的新视角合成方法，能够实时复现更高层次的视角相关效果。与传统 MPI 使用一组简单的 RGB 平面不同，我们的技术通过将每个像素参数化为由神经网络学习得到的基函数的线性组合来建模视角相关效果。此外，我们提出了一种隐式-显式混合建模策略，在精细细节上有所改进并取得了最先进的结果。我们的方法在基准的前向-facing 数据集以及我们新引入的、旨在测试视角相关建模极限的数据集上进行了评估，后者具有显著更具挑战性的效果，例如 CD 上的彩虹反射。我们的方法在这些数据集的所有主要指标上取得了最佳总体分数，且渲染时间比最先进方法快 1000 以上。有关实时演示，请访问 https://nex-mpi.github.io/
引用
@article{arxiv.2103.05606,
title = {NeX: Real-time View Synthesis with Neural Basis Expansion},
author = {Suttisak Wizadwongsa and Pakkapon Phongthawee and Jiraphon Yenphraphai and Supasorn Suwajanakorn},
journal= {arXiv preprint arXiv:2103.05606},
year = {2021}
}
备注
CVPR 2021 (Oral)