PolyOculus: 基于图像的同时多视角新视角合成
计算机视觉与模式识别
2024-07-29 v3
摘要
本文考虑生成式新视角合成（GNVS）问题，即在给定有限数量的已知视角的情况下，生成场景的新颖、合理的视角。在这里，我们提出了一种基于集合的生成模型，该模型可以同时生成多个自洽的新视角，并以任意数量的视角为条件。我们的方法不限于一次生成单个图像，并且可以以可变数量的视角为条件。因此，当生成大量视角时，我们的方法不受限于低阶自回归生成方法，并且能够更好地在大量图像上保持生成图像质量。我们在标准NVS数据集上评估了我们的模型，并表明它优于最先进的基于图像的GNVS基线。此外，我们表明该模型能够生成没有自然顺序的视角集合，例如循环和双目轨迹，并且在此类任务上显著优于其他方法。
引用
@article{arxiv.2402.17986,
title = {PolyOculus: Simultaneous Multi-view Image-based Novel View Synthesis},
author = {Jason J. Yu and Tristan Aumentado-Armstrong and Fereshteh Forghani and Konstantinos G. Derpanis and Marcus A. Brubaker},
journal= {arXiv preprint arXiv:2402.17986},
year = {2024}
}