从单幅图像生成三维动态摄影

我们提出 3D Cinemagraphy，一种将 2D 图像动画与 3D 摄影相结合的新技术。给定单幅静态图像作为输入，我们的目标是生成同时包含视觉内容动画与相机运动的视频。我们通过经验发现，朴素地组合现有 2D 图像动画与 3D 摄影方法会导致明显伪影或不一致的动画。我们的核心见解是，在 3D 空间中表示并动画化场景为该任务提供了自然的解决方案。为此，我们首先利用预测的深度值将输入图像转换为基于特征的分层深度图像，随后将其反投影为特征值点云。为对场景进行动画化，我们执行运动估计并将 2D 运动提升为 3D 场景流。最后，为解决点向前移动时出现的空洞问题，我们提出依据场景流双向位移点云，并通过将其分别投影至目标图像平面并融合结果来合成新视角。大量实验证明了我们方法的有效性。我们还进行了用户研究以验证我们方法引人注目的渲染结果。