基于光照不一致监督学习流特征扭曲的人脸正面化
计算机视觉与模式识别
2020-09-10 v2
摘要
尽管基于深度学习的人脸正面化方法近期取得进展,但由于训练期间较大的姿态与光照差异,照片真实且保持光照的正面人脸合成仍具挑战性。我们提出一种新颖的基于流的 Feature Warping 模型(FFWM),其可学习在光照不一致监督下合成照片真实且保持光照的正面图像。具体而言,提出一种光照保持模块(IPM),从光照不一致的图像对中学习保持光照的图像合成。IPM 包含两条协同工作的通路,以确保合成的正面图像保持光照并具有精细细节。此外,引入一种扭曲注意力模块(WAM)以减少特征层面的姿态差异,从而更有效地合成正面图像并保留更多侧脸图像细节。WAM 中的注意力机制有助于减少由侧脸与正面图像间位移引起的伪影。定量与定性实验结果表明,我们的 FFWM 能合成照片真实且保持光照的正面图像,并优于最先进的结果。
引用
@article{arxiv.2008.06843,
title = {Learning Flow-based Feature Warping for Face Frontalization with Illumination Inconsistent Supervision},
author = {Yuxiang Wei and Ming Liu and Haolin Wang and Ruifeng Zhu and Guosheng Hu and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2008.06843},
year = {2020}
}
备注
ECCV 2020. Code is available at: https://github.com/csyxwei/FFWM