基于扩散模型的长期光度一致新视角合成

从单张输入图像进行新视角合成是一项具有挑战性的任务，其目标是从期望的相机位姿生成场景的新视角，该位姿可能与原图存在大幅运动。由于场景内（即遮挡）和视场外的未观测元素，该合成任务具有高度不确定性，这使得利用生成模型来捕捉可能输出的多样性颇具吸引力。本文提出一种新颖的生成模型，能够生成与指定相机轨迹和单张起始图像一致的一系列真实感图像。我们的方法核心是一个自回归条件扩散模型，能够以几何一致的方式插值可见场景元素并外推视图中未观测区域。条件仅限于捕获单个相机视角的图像和新相机视角的（相对）位姿。为衡量生成视图序列的一致性，我们引入了一种新指标——阈值化对称极线距离（TSED），用于度量序列中一致帧对的数量。尽管已有方法被证明能在视角对之间生成高质量图像和一致语义，但我们用该指标实证表明它们常与期望的相机位姿不一致。相比之下，我们证明我们的方法能生成兼具真实感与视角一致性的图像。