Restereo：扩散模型下的立体视频生成与恢复

立体视频生成正因近期视频扩散模型的进步而受到日益关注。然而，大多数现有方法专注于从单眼 2D 视频生成 3D 立体视频。这些方法通常假设输入的单眼视频质量较高，使任务主要关于在保持遮挡区域的同时，对变形后的视频进行填空以恢复遗漏区域。本文提出一种新的管道，不仅生成立体视频，还通过单一模型一致地增强左视图和右视图视频。我们通过在退化数据上进行微调以进行恢复，并对变形掩码进行条件化以实现一致的立体生成。最终结果是，我们可以在相对较小的合成立体视频数据集上进行微调，并应用于低质量的真实世界视频，同时实现立体视频的生成与恢复。实验表明，我们的方法在从低分辨率输入生成立体视频方面，以定性和定量方式均优于现有方法。