万物皆语：空想性错视人脸重演
计算机视觉与模式识别
2021-04-08 v1
摘要
我们提出了一种名为空想性错视人脸重演（Pareidolia Face Reenactment）的新应用方向，其定义为将静态的错觉人脸动画化，使其随视频中的人脸同步运动。由于空想性错视人脸重演与传统人脸重演之间存在巨大差异，由此引入了两个主要挑战，即形状差异与纹理差异。在本工作中，我们提出了一种新颖的参数化无监督重演算法（Parametric Unsupervised Reenactment Algorithm）来解决这两个挑战。具体而言，我们提议将重演分解为三个串联过程：形状建模、运动迁移与纹理合成。借助该分解，我们引入了三个关键组件，即参数化形状建模（Parametric Shape Modeling）、扩张式运动迁移（Expansionary Motion Transfer）与无监督纹理合成器（Unsupervised Texture Synthesizer），以克服空想性错视人脸显著差异所带来的问题。大量实验从定性与定量两方面均展示了我们方法的优越性能。代码、模型与数据已发布于我们的项目页面。
引用
@article{arxiv.2104.03061,
title = {Everything's Talkin': Pareidolia Face Reenactment},
author = {Linsen Song and Wayne Wu and Chaoyou Fu and Chen Qian and Chen Change Loy and Ran He},
journal= {arXiv preprint arXiv:2104.03061},
year = {2021}
}
备注
Accepted by CVPR2021