基于单幅图像的3D Ken Burns效果合成

Ken Burns效果允许通过虚拟相机扫描与缩放来动画化静态图像。添加视差（即产生3D Ken Burns效果）可带来显著更具吸引力的结果。手动创建此类效果耗时且需要精湛的编辑技巧。然而，现有的自动方法需要来自不同视点的多幅输入图像。本文中，我们引入了一个从单幅图像合成3D Ken Burns效果的框架，支持全自动模式以及由用户控制相机的交互模式。我们的框架首先利用深度预测流水线，估计适用于视图合成任务的场景深度。为解决现有深度估计方法存在的几何畸变、语义畸变及深度边界不准确等局限，我们开发了语义感知神经网络用于深度预测，将其估计与基于分割的深度调整过程相耦合，并采用细化神经网络以在物体边界处促进准确的深度预测。依据该深度估计，我们的框架随后将输入图像映射到点云，并通过从相应相机位置渲染点云来合成所得视频帧。为处理遮挡缺失同时保持几何与时间一致的合成结果，我们利用上下文感知的颜色与深度修复来填补相机路径极端视角中的缺失信息，从而扩展点云的场景几何。涵盖广泛图像内容的实验表明，我们的方法可实现逼真的合成结果。我们的研究表明，与现有3D Ken Burns效果创建方案相比，我们的系统可使用户以更少精力获得更好的结果。