基于关键点掩码的图像动画
计算机视觉与模式识别
2021-12-23 v2
摘要
运动迁移是指根据给定的驱动视频中的运动，合成单张源图像未来视频帧的任务。为解决该问题，我们面临运动表示的复杂挑战以及驱动视频与源图像之间未知的关系。尽管困难，近年来该问题引起了研究的极大兴趣，并逐步取得改进。其目标常被视为运动与外观的解耦，这可通过从关键点运动中提取运动来解决。我们选择处理通用的无监督设定，即需要对任意对象施加动画，而无需针对输入结构使用任何特定领域的模型。在本工作中，我们从关键点热图中提取结构，无需显式的运动表示。随后，从图像和视频中提取结构，由深度生成器根据视频对图像进行扭曲。我们提出了关键点模块中不同步骤得到的结构的两种变体，并展示了更优的定性姿态与定量分数。
引用
@article{arxiv.2112.10457,
title = {Image Animation with Keypoint Mask},
author = {Or Toledano and Yanir Marmor and Dov Gertz},
journal= {arXiv preprint arXiv:2112.10457},
year = {2021}
}