用于图像动画的薄板样条运动模型

图像动画根据驱动视频为源图像中的静态对象赋予生命。近期工作尝试通过无监督方法在不使用先验知识的情况下对任意对象进行运动迁移。然而，当源图像与驱动图像中对象之间存在较大姿态差异时，当前无监督方法仍面临重大挑战。本文提出一种新的端到端无监督运动迁移框架以克服该问题。首先，我们提出薄板样条运动估计以产生更灵活的光流，将源图像的特征图扭曲到驱动图像的特征域。其次，为了更真实地修复缺失区域，我们利用多分辨率遮挡掩码实现更有效的特征融合。最后，设计额外的辅助损失函数以确保网络模块职责清晰分工，促使网络生成高质量图像。我们的方法可动画化多种对象，包括说话人脸、人体和像素动画。实验表明，我们的方法在大多数基准上优于当前最优方法，在姿态相关指标上有可见提升。