基于连续分段仿射的运动模型用于图像动画生成
计算机视觉与模式识别
2024-01-18 v1
摘要
图像动画旨在根据驱动视频赋予静态图像生命力，创造可用于动画、娱乐和教育等多种用途的引人入胜的视觉内容。近期无监督方法利用基于关键点的仿射和薄板样条变换，将驱动帧中的运动传递到源图像。然而，受限于所用变换的表达能力，当驱动帧与源图像之间的运动差异较大时，这些方法往往产生较差的结果。为解决此问题，我们提出在具有高表达能力的微分同胚空间中建模从源图像到驱动帧的运动。首先，我们引入基于连续分段仿射（CPAB）的变换来建模运动，并提出一种精心设计的推理算法，从控制关键点生成CPAB变换。其次，我们提出一种SAM引导的关键点语义损失，以进一步约束关键点提取过程，并提高源图像与驱动图像上对应关键点之间的语义一致性。最后，我们设计了一种结构对齐损失，用于对齐从驱动图像和生成图像中提取的结构相关特征，从而帮助生成器生成与驱动动作更一致的结果。在四个数据集上的大量实验定量和定性地证明了我们的方法相较于最先进竞争对手的有效性。代码将公开于：https://github.com/DevilPG/AAAI2024-CPABMM。
引用
@article{arxiv.2401.09146,
title = {Continuous Piecewise-Affine Based Motion Model for Image Animation},
author = {Hexiang Wang and Fengqi Liu and Qianyu Zhou and Ran Yi and Xin Tan and Lizhuang Ma},
journal= {arXiv preprint arXiv:2401.09146},
year = {2024}
}