Over++: 用于层次交互效果的生成视频合成

在专业视频合成工作流程中，艺术家必须手动创建环境交互作用——例如阴影、反射、粉尘和水花——在前景主体和背景层之间。现有的视频生成模型在保持输入视频的同时难以添加此类效果，当前的视频填充方法要么需要昂贵的逐帧掩码，要么产生不合常理的结果。我们提出了增强合成，这是一种新的任务，通过文本提示和输入视频层合成逼真的半透明环境效果，同时保持原始场景。为解决这一任务，我们提出了 Over++，一个不对相机姿态、场景稳定性或深度监督作任何假设的视频特效生成框架。我们构建了一个针对该任务的配对特效数据集，并引入一种保持文本驱动可编辑性的非配对数据增强策略。我们的方法还支持可选的掩码控制和关键帧引导，而无需密集注释。尽管在有限数据上训练，Over++ 仍能产生多样且逼真的环境效果，并在效果生成和场景保持方面超越现有基线。