MotionClone：基于无训练的可控视频生成运动克隆
偏微分方程分析
2024-06-11 v1
摘要
基于运动的可控视频生成为创建引人入胜的视觉内容提供了潜力。现有方法通常需要对特定运动线索进行模型训练或微调以注入某些运动模式，导致灵活性和泛化性受限。本文我们提出了 MotionClone，一个无训练框架，使其能够从参考视频中克隆运动，以用于各种运动控制的视频生成，包括文本到视频和图像到视频。基于观察到时间注意力图中的主导成分驱动运动合成，而其余成分主要捕捉噪声或非常细微的运动，MotionClone 将稀疏时间注意力权重作为运动表示用于运动指导，促进了在不同情景下的多样化运动迁移。同时，MotionClone 允许通过单个去噪步骤直接提取运动表示，绕开繁琐的逆向过程，从而提高了效率和灵活性。广泛的实验表明，MotionClone 在全局相机运动和局部物体运动方面都表现出色，尤其在运动保真度、文本对齐和时间一致性方面显示出显著优势。
引用
@article{arxiv.2406.05337,
title = {On Onsager's type conjecture for the inviscid Boussinesq equations},
author = {Changxing Miao and Yao Nie and Weikui Ye},
journal= {arXiv preprint arXiv:2406.05337},
year = {2024}
}