基于扩散模型的视频运动迁移谱运动对齐方法
计算机视觉与模式识别
2024-12-20 v2 人工智能
机器学习
摘要
扩散模型的发展极大地影响了视频生成与理解。特别是，文本到视频扩散模型（VDMs）显著促进了输入视频在目标外观、运动等方面的定制化。尽管取得了这些进展，从视频帧中精确提取运动信息仍面临挑战。现有工作利用连续帧残差作为目标运动向量，但它们固有地缺乏全局运动上下文，且易受帧级失真的影响。为解决此问题，我们提出了谱运动对齐（Spectral Motion Alignment, SMA），一种利用傅里叶变换和小波变换来精炼并对齐运动向量的新颖框架。SMA 通过引入频域正则化来学习运动模式，有助于学习全帧全局运动动态，并减轻空间伪影。大量实验证明了 SMA 在改善运动迁移方面的有效性，同时保持了计算效率及跨各种视频定制框架的兼容性。
引用
@article{arxiv.2403.15249,
title = {Spectral Motion Alignment for Video Motion Transfer using Diffusion Models},
author = {Geon Yeong Park and Hyeonho Jeong and Sang Wan Lee and Jong Chul Ye},
journal= {arXiv preprint arXiv:2403.15249},
year = {2024}
}
备注
AAAI 2025, Project page: https://geonyeong-park.github.io/spectral-motion-alignment/