SinMPI：利用扩展的多平面图像从单张图像进行新视角合成
计算机视觉与模式识别
2023-12-19 v1
摘要
单图像新视角合成是一个具有挑战性且持续存在的问题，其目标是从单张输入图像生成无限数量的视角一致视图。尽管在提升生成新视角质量方面已付出巨大努力，但对底层场景表示的扩展关注较少，而这对于生成逼真的新视角图像至关重要。本文提出了 SinMPI，一种新颖的方法，它使用扩展的多平面图像（MPI）作为 3D 场景表示，以显著扩展 MPI 的视角范围，并从大的多平面空间生成高质量的新视角。我们方法的核心思想是使用 Stable Diffusion 生成视角外内容，根据单目深度估计器预测的深度将所有场景内容投影到扩展的多平面图像中，然后在由深度感知扭曲和修复模块生成的伪多视图数据的监督下优化多平面图像。我们进行了定性和定量实验，以验证我们的方法相对于当前最先进技术的优越性。我们的代码和数据可在 https://github.com/TrickyGo/SinMPI 获取。
引用
@article{arxiv.2312.11037,
title = {SinMPI: Novel View Synthesis from a Single Image with Expanded Multiplane Images},
author = {Guo Pu and Peng-Shuai Wang and Zhouhui Lian},
journal= {arXiv preprint arXiv:2312.11037},
year = {2023}
}
备注
10 pages