学习对称性一致深度CNN用于人脸补全
计算机视觉与模式识别
2018-12-20 v1
摘要
深度卷积网络(CNNs)在人脸补全中以生成合理面部结构取得了巨大成功。然而,这些方法在保持面部部件间全局一致性及恢复精细面部细节方面存在局限。另一方面,反射对称性是人脸图像的显著特性,有助于人脸识别与一致性建模,但在深度人脸补全中尚未被研究。本工作中,我们利用两类对称性强制子网络构成对称性一致CNN模型(即SymmFCNet)以实现有效人脸补全。对于仅半脸缺失像素的情况,开发了光照重加权扭曲子网络以引导另一半脸的扭曲与光照重加权。对于两半脸均缺失像素的情况,我们提出生成式重建子网络并结合感知对称性损失以强制恢复结构的对称性一致。SymmFCNet通过将生成式重建子网络堆叠于光照重加权扭曲子网络之上构建,并可由未对齐人脸图像训练集端到端学习。实验表明,SymmFCNet能在合成与真实遮挡图像上生成高质量结果,且优于当前最优方法。
引用
@article{arxiv.1812.07741,
title = {Learning Symmetry Consistent Deep CNNs for Face Completion},
author = {Xiaoming Li and Ming Liu and Jieru Zhu and Wangmeng Zuo and Meng Wang and Guosheng Hu and Lei Zhang},
journal= {arXiv preprint arXiv:1812.07741},
year = {2018}
}