中文

DreamMotion:用于零样本视频编辑的时空自相似分数蒸馏

计算机视觉与模式识别 2024-07-16 v2 人工智能

摘要

文本驱动的基于扩散的视频编辑提出了图像编辑文献中未曾遇到的独特挑战:建立真实世界运动。与现有的视频编辑方法不同,本文我们专注于分数蒸馏采样,以规避标准的逆扩散过程,并从已经表现出自然运动的视频开始优化。我们的分析表明,虽然视频分数蒸馏能够有效引入目标文本指示的新内容,但它也会导致显著的结构和运动偏差。为了抵消这一影响,我们提出在分数蒸馏过程中匹配原始视频和编辑后视频的时空自相似性。得益于分数蒸馏的使用,我们的方法是模型无关的,可应用于级联和非级联视频扩散框架。通过与领先方法的广泛比较,我们的方法在改变外观的同时准确保留原始结构和运动方面展现出了优越性。

关键词

引用

@article{arxiv.2403.12002,
  title  = {DreamMotion: Space-Time Self-Similar Score Distillation for Zero-Shot Video Editing},
  author = {Hyeonho Jeong and Jinho Chang and Geon Yeong Park and Jong Chul Ye},
  journal= {arXiv preprint arXiv:2403.12002},
  year   = {2024}
}

备注

Accepted to ECCV 2024, Project page: https://hyeonho99.github.io/dreammotion/