ControlVideo：用于一次性文本驱动视频编辑及更广泛任务的条件控制
计算机视觉与模式识别
2023-11-29 v2
摘要
本文提出 \emph{ControlVideo} 用于文本驱动视频编辑——生成与给定文本对齐同时保留源视频结构的视频。基于预训练的文本到图像扩散模型，ControlVideo 通过引入额外条件（如边缘图），并对源视频-文本对上的关键帧与时间注意力进行细粒度设计空间探索下的微调，提升了保真度与时间一致性。大量实验结果表明，ControlVideo 在提供高保真于源内容、时间一致性且符合文本的视频方面优于多种竞争性基线。通过在训练前将低秩适配层融入模型，ControlVideo 进一步获得了生成与参考图像无缝对齐视频的能力。更重要的是，ControlVideo 可轻松扩展至更具挑战性的长视频编辑任务（例如数百帧），其中保持长程时间一致性至关重要。为此，我们提出通过将对重叠短视频段与关键帧视频应用基础 ControlVideo 构建融合 ControlVideo，再经预定义权重函数合并。实证结果验证了其生成 140 帧视频的能力，约为先前工作的 5.83 至 17.5 倍。代码见 \href{https://github.com/thu-ml/controlvideo}{https://github.com/thu-ml/controlvideo}，可视化结果见 \href{https://drive.google.com/file/d/1wEgc2io3UwmoC5vTPbkccFvTkwVqsZlK/view?usp=drive_link}{HERE}。
引用
@article{arxiv.2305.17098,
title = {ControlVideo: Conditional Control for One-shot Text-driven Video Editing and Beyond},
author = {Min Zhao and Rongzhen Wang and Fan Bao and Chongxuan Li and Jun Zhu},
journal= {arXiv preprint arXiv:2305.17098},
year = {2023}
}