MotionStone：用于图像到视频生成的解耦运动强度调制与扩散变换器
计算机视觉与模式识别
2024-12-10 v1
摘要
图像到视频（I2V）生成以静态图像为条件，这一方法最近通过将运动强度作为额外的控制信号而得到增强。虽然这些运动感知模型能够生成多样化的运动模式，但缺乏可靠的运动估计器，使得在野外大规模视频数据集上训练此类模型存在困难。传统指标（如 SSIM 或光流）难以推广到任意视频，而人类标注员也很难标记抽象的运动强度。此外，运动强度应同时揭示局部物体运动和全局摄像机运动，这一问题迄今尚未被研究。本文通过一种新的运动估计器来解决这一挑战，能够测量视频中物体和摄像机运动强度的解耦形式。我们利用随机配对视频上的对比学习，区分具有更大运动强度的视频。这种方法有利于标注且易于扩展，以获得在运动估计上的稳定性能。随后，我们提出了一个新的 I2V 模型，名为 MotionStone，基于上述解耦运动估计器开发。实验结果表明，所提出的运动估计器稳定可靠，MotionStone 在 I2V 生成方面实现了最先进的性能。这些优势使得解耦运动估计器能够作为数据处理和视频生成训练的通用插件增强器。
引用
@article{arxiv.2412.05848,
title = {MotionStone: Decoupled Motion Intensity Modulation with Diffusion Transformer for Image-to-Video Generation},
author = {Shuwei Shi and Biao Gong and Xi Chen and Dandan Zheng and Shuai Tan and Zizheng Yang and Yuyuan Li and Jingwen He and Kecheng Zheng and Jingdong Chen and Ming Yang and Yinqiang Zheng},
journal= {arXiv preprint arXiv:2412.05848},
year = {2024}
}