用于人脸关键点检测的样式聚合网络
计算机视觉与模式识别
2018-03-23 v4
摘要
人脸关键点检测的最新进展通过从丰富的人脸形状与姿态形变中学习判别性特征取得成功。除了人脸自身的差异外,图像样式的固有差异(例如灰度与彩色图像、亮与暗、鲜艳与暗淡等)一直被忽视。随着从各种来源收集的网页图像越来越多用于训练神经网络,该问题变得不可避免。本工作中,我们提出一种样式聚合方法来处理人脸关键点检测中图像样式的巨大固有差异。我们的方法通过生成对抗模块将原始人脸图像转换为样式聚合图像。所提方案利用样式聚合图像来保持对环境影响更具鲁棒性的人脸图像。然后原始人脸图像与样式聚合图像协同训练一个互为互补的关键点检测器。如此,对于每张人脸,我们的方法以两张图像作为输入,即一张为其原始样式,另一张为聚合样式。实验中,我们观察到图像样式的巨大差异会退化人脸关键点检测器的性能。此外,我们通过与去除了生成对抗模块且不使用样式聚合图像的本方法变体比较,展示了我们的方法对图像样式巨大差异的鲁棒性。与基准数据集AFLW和300-W上最先进的算法相比,我们的方法表现良好。代码已在GitHub公开:https://github.com/D-X-Y/SAN
引用
@article{arxiv.1803.04108,
title = {Style Aggregated Network for Facial Landmark Detection},
author = {Xuanyi Dong and Yan Yan and Wanli Ouyang and Yi Yang},
journal= {arXiv preprint arXiv:1803.04108},
year = {2018}
}
备注
Accepted to CVPR 2018