潜像动画器:通过潜空间导航学习动画化图像
计算机视觉与模式识别
2022-03-18 v1
摘要
由于深度生成模型的显著进展,图像动画化变得愈发高效,而相关结果也愈发逼真。当前的动画化方法通常利用从驱动视频中提取的结构表示。此类结构表示有助于将运动从驱动视频迁移至静止图像。然而,当源图像与驱动视频存在较大外观差异时,此类方法会失效。此外,结构信息的提取需要额外模块,从而增加了动画模型的复杂度。不同于此类模型,我们在此引入潜像动画器(LIA),一种规避结构表示需求的自监督自编码器。LIA经过精简,通过潜空间中的线性导航来动画化图像。具体而言,生成视频中的运动由潜空间中编码的线性位移构建。为此,我们同时学习一组正交运动方向,并使用它们的线性组合来表示潜空间中的任意位移。大量定量与定性分析表明,我们的模型在VoxCeleb、Taichi和TED-talk数据集上就生成质量系统性且显著地优于SOTA方法。
引用
@article{arxiv.2203.09043,
title = {Latent Image Animator: Learning to Animate Images via Latent Space Navigation},
author = {Yaohui Wang and Di Yang and Francois Bremond and Antitza Dantcheva},
journal= {arXiv preprint arXiv:2203.09043},
year = {2022}
}
备注
ICLR 2022, project link https://wyhsirius.github.io/LIA-project