iNVS：将扩散修复模型改造用于新视角合成
计算机视觉与模式识别
2023-10-26 v1
摘要
我们提出了一种从单张源图像生成一致新视角的方法。我们的方法侧重于最大化复用源图像中的可见像素。为此，我们使用单目深度估计器将可见像素从源视角迁移到目标视角。从预训练的2D修复扩散模型出发，我们在大规模Objaverse数据集上训练我们的方法以学习3D物体先验。在训练时，我们使用一种基于对极线的新型掩码机制来进一步提升我们方法的质量。这使得我们的框架能够对多种物体执行零样本新视角合成。我们在三个具有挑战性的数据集上评估了框架的零样本能力：Google Scanned Objects、Ray Traced Multiview和Common Objects in 3D。更多细节请见我们的网页：https://yashkant.github.io/invs/
引用
@article{arxiv.2310.16167,
title = {iNVS: Repurposing Diffusion Inpainters for Novel View Synthesis},
author = {Yash Kant and Aliaksandr Siarohin and Michael Vasilkovsky and Riza Alp Guler and Jian Ren and Sergey Tulyakov and Igor Gilitschenski},
journal= {arXiv preprint arXiv:2310.16167},
year = {2023}
}
备注
Accepted to SIGGRAPH Asia, 2023 (Conference Papers)