POCE：姿态可控的表情编辑
计算机视觉与模式识别
2023-04-19 v1
摘要
近年来，随着深度神经网络的进步，人脸表情编辑引起了越来越多的关注。然而，大多数现有方法存在编辑保真度受损和可用性有限的问题，因为它们要么忽略姿态变化（不真实的编辑），要么需要配对训练数据（不易收集）以进行姿态控制。本文提出POCE，一种创新的姿态可控表情编辑网络，仅需非配对训练图像即可同时生成逼真的人脸表情与头部姿态。POCE通过将人脸图像映射到UV空间，使表情与头部姿态可解耦并分别编辑，从而实现更易获取且逼真的姿态可控表情编辑。POCE有两个新颖设计。其一是自监督UV补全，可补全在不同头部姿态下采样的UV图，这些图常受自遮挡与面部纹理缺失影响。其二是弱监督UV编辑，能以对面部身份的最小修改生成新表情，合成表情可由表情标签控制或经由特征转移直接从参考UV图移植。大量实验表明，POCE能有效从非配对人脸图像学习，且所学模型可在各种新姿态下生成逼真高保真人脸表情。
引用
@article{arxiv.2304.08938,
title = {POCE: Pose-Controllable Expression Editing},
author = {Rongliang Wu and Yingchen Yu and Fangneng Zhan and Jiahui Zhang and Shengcai Liao and Shijian Lu},
journal= {arXiv preprint arXiv:2304.08938},
year = {2023}
}