深度身份感知人脸属性迁移
计算机视觉与模式识别
2018-12-07 v2
摘要
本文提出一种用于人脸属性身份感知迁移（DIAT）的深度卷积网络模型。给定源输入图像和参考属性，DIAT旨在生成拥有参考属性且保持与输入图像相同或相似身份的人脸图像。总体上，我们的模型由一个掩码网络和一个属性变换网络组成，它们协同工作以生成具有参考属性的照片级真实感人脸图像。考虑到参考属性可能仅与图像的某些部分相关，引入掩码网络以避免对属性无关区域进行错误编辑。然后利用估计的掩码将输入图像与变换后的图像结合以产生迁移结果。为了联合训练变换网络和掩码网络，我们引入了对抗属性损失、身份感知自适应感知损失以及基于VGG-FACE的身份损失。此外，提出一个去噪网络用于感知正则化以抑制迁移结果中的伪影，同时引入属性比例正则化以约束属性相关区域的大小。我们的DIAT可为若干代表性人脸属性迁移任务提供统一解决方案，例如表情迁移、配饰移除、年龄演进和性别迁移，并可扩展至其他人脸增强任务如人脸幻构。实验结果验证了所提方法的有效性。即使对于身份相关属性（例如性别），我们的DIAT也能在改变属性的同时保留大多数身份感知特征，从而获得视觉上令人印象深刻的结果。
引用
@article{arxiv.1610.05586,
title = {Deep Identity-aware Transfer of Facial Attributes},
author = {Mu Li and Wangmeng Zuo and David Zhang},
journal= {arXiv preprint arXiv:1610.05586},
year = {2018}
}