快速显式神经视图合成
计算机视觉与模式识别
2021-12-10 v2 图形学
机器学习
摘要
我们研究由三维物体组成的场景在稀疏源观测下的新视角合成问题。我们提出了一种简单而有效的方法，该方法既非连续也非隐式，挑战了近期视图合成的趋势。我们的方法将观测显式编码为体素表示，从而实现摊销渲染。我们证明，尽管连续辐射场表示因其表达能力而备受关注，但我们的简单方法在与最先进基线相比时获得了相当甚至更好的新视角重建质量，同时将渲染速度提高了超过400倍。我们的模型以类别无关的方式进行训练，且不需要特定场景的优化。因此，它能够将新视角合成泛化到训练期间未见的物体类别。此外，我们表明，借助我们的简单公式，我们可以将视图合成用作自监督信号，以在无显式三维监督的情况下高效学习三维几何。
引用
@article{arxiv.2107.05775,
title = {Fast and Explicit Neural View Synthesis},
author = {Pengsheng Guo and Miguel Angel Bautista and Alex Colburn and Liang Yang and Daniel Ulbricht and Joshua M. Susskind and Qi Shan},
journal= {arXiv preprint arXiv:2107.05775},
year = {2021}
}