面向基于 Diffusion 的视频编辑的中性编辑框架
计算机视觉与模式识别
2023-12-13 v1
摘要
基于 Diffusion 框架，文本条件图像编辑已在多种类型的编辑中取得成功。遗憾的是，这种成功未能延伸至视频领域，后者依然充满挑战。现有的视频编辑系统仍局限于刚性类型编辑，如风格迁移和物体叠加。为此，本文提出 Neutral Editing (NeuEdit) 框架，通过改变视频中人物/物体的运动来实现复杂的非刚性编辑，这是此前从未尝试过的。NeuEdit 引入了“中和”概念，以模型无关的方式，仅利用输入视频和文本，在无需任何其他辅助手段（如视觉掩码、视频字幕）的情况下，增强基于 Diffusion 编辑系统的微调-编辑过程。在大量视频上的广泛实验证明了 NeuEdit 框架的适应性与有效性。本项目网站见：https://neuedit.github.io
引用
@article{arxiv.2312.06708,
title = {Neutral Editing Framework for Diffusion-based Video Editing},
author = {Sunjae Yoon and Gwanhyeong Koo and Ji Woo Hong and Chang D. Yoo},
journal= {arXiv preprint arXiv:2312.06708},
year = {2023}
}
备注
18 pages, 14 figures