面向无监督图像动画中细粒度运动形变的差分运动演化
计算机视觉与模式识别
2023-11-21 v2
摘要
图像动画是指将驱动视频中的运动迁移到源图像中给定物体的任务。尽管近期无监督运动迁移（无需标注数据或领域先验）取得了巨大进展，许多当前无监督方法在源域与驱动域之间出现大运动/视角差异时仍难以捕捉运动形变。在此类条件下，根本没有足够信息来正确捕捉运动场。我们提出 DiME（Differential Motion Evolution，差分运动演化），一种端到端无监督运动迁移框架，集成了用于运动估计的差分细化。关键发现有两点：（1）通过用常微分方程（ODE）刻画运动迁移，有助于正则化运动场；（2）通过利用源图像本身，我们能够补全由大运动变化引起的遮挡/缺失区域。此外，我们还提出了 ODE 思想的一个自然扩展，即每当可用时，DiME 可通过为每个视角建模一个 ODE 轻松利用源物体的多个不同视角。在 9 个基准上的大量实验表明，DiME 以显著优势优于当前最优方法，并对未见物体具有更好的泛化能力。
引用
@article{arxiv.2110.04658,
title = {Differential Motion Evolution for Fine-Grained Motion Deformation in Unsupervised Image Animation},
author = {Peirong Liu and Rui Wang and Xuefei Cao and Yipin Zhou and Ashish Shah and Ser-Nam Lim},
journal= {arXiv preprint arXiv:2110.04658},
year = {2023}
}