造脸：迈向任意高保真人脸操控
计算机视觉与模式识别
2019-08-21 v1
摘要
近期研究随着 GAN 和 VAE 范式的发展在人脸操控任务上取得了显著成功，但输出有时受限于低分辨率且缺乏多样性。本文中，我们提出加性聚焦变分自编码器（AF-VAE），一种新颖的方法，可使用简单而有效的模型以及仅重构和 KL 散度损失的弱监督，对任意高分辨率人脸图像进行操控。首先，在结构潜空间中引入一种新颖的加性高斯混合假设与无监督聚类机制，赋予更好的解耦性，并通过外部记忆提升多模态表示。其次，为提升合成结果的感知质量，首次在架构设计中针对人类视觉系统（HVS）的行为量身定制并讨论了两种简单策略，从而允许对模型复杂度和样本质量进行精细控制。人类主观评测以及新的最优 Inception Score（IS）/ Frechet Inception Distance（FID）表明了我们的方法相对于现有算法的优越性，推进了人脸操控任务的保真度与极致性。
引用
@article{arxiv.1908.07191,
title = {Make a Face: Towards Arbitrary High Fidelity Face Manipulation},
author = {Shengju Qian and Kwan-Yee Lin and Wayne Wu and Yangxiaokang Liu and Quan Wang and Fumin Shen and Chen Qian and Ran He},
journal= {arXiv preprint arXiv:1908.07191},
year = {2019}
}
备注
Accepted to ICCV 2019