形状感知的文本驱动分层视频编辑

时间一致性对视频编辑应用至关重要。现有的视频分层表示方法可将编辑一致地传播到每一帧。然而，由于使用固定的 UV 映射场作为纹理图集的限制，这些方法只能编辑物体外观而非物体形状变化。我们提出一种形状感知、文本驱动的视频编辑方法来应对该挑战。为处理视频编辑中的形状变化，我们首先将输入帧与编辑关键帧之间的形变场传播到所有帧。随后利用预训练的文本条件扩散模型作为引导，以细化形状畸变并补全不可见区域。实验结果表明，我们的方法能实现形状感知的一致视频编辑，并优于当前最优方法。