基于可变形锚点模型的结构感知运动迁移
计算机视觉与模式识别
2022-04-12 v1
摘要
给定一张源图像和一段描绘同类物体的驱动视频，运动迁移任务旨在从驱动视频中学习运动，同时保留源图像的外观，从而生成视频。本文提出一种新颖的结构感知运动建模方法——可变形锚点模型（DAM），它无需利用物体的先验结构信息即可自动发现任意物体的运动结构。具体而言，受已知可变形部件模型（DPM）启发，我们的DAM引入两类锚点或关键点：i）若干运动锚点，从源图像和驱动视频中同时捕获外观与运动信息；ii）一个潜在根锚点，其与运动锚点相连以促进更好地学习目标结构信息的表示。此外，通过引入额外的潜在锚点，DAM可进一步扩展为层次化版本以建模更复杂的结构。通过对运动锚点施加潜在锚点正则化，DAM强制它们之间的对应关系，以确保结构信息被良好捕获与保留。而且，DAM可以以无监督方式有效学习。我们在不同基准数据集上验证了所提DAM的运动迁移效果。大量实验清楚表明，DAM相对于现有最先进方法取得了更优性能。
引用
@article{arxiv.2204.05018,
title = {Structure-Aware Motion Transfer with Deformable Anchor Model},
author = {Jiale Tao and Biao Wang and Borun Xu and Tiezheng Ge and Yuning Jiang and Wen Li and Lixin Duan},
journal= {arXiv preprint arXiv:2204.05018},
year = {2022}
}
备注
CVPR 2022