基于姿态引导扩散模型的一致视角合成
计算机视觉与模式识别
2023-03-31 v1
摘要
从单张图像进行新视角合成是许多提供沉浸式体验的虚拟现实应用的基石问题。然而，大多数现有技术只能在有限相机运动范围内合成新视角，或在显著相机运动下无法生成一致且高质量的新视角。在本工作中，我们提出一种姿态引导扩散模型，从单张图像生成一致的长时序新视角视频。我们设计了一个以极线为约束的注意力层，以促进不同视角间的关联。在合成与真实世界数据集上的实验结果证明了所提扩散模型相对于最先进的基于 transformer 与基于 GAN 方法的的有效性。
引用
@article{arxiv.2303.17598,
title = {Consistent View Synthesis with Pose-Guided Diffusion Models},
author = {Hung-Yu Tseng and Qinbo Li and Changil Kim and Suhib Alsisan and Jia-Bin Huang and Johannes Kopf},
journal= {arXiv preprint arXiv:2303.17598},
year = {2023}
}
备注
CVPR 2023. Project page: https://poseguided-diffusion.github.io/