通过互联卷积神经网络实现端到端人脸解析
计算机视觉与模式识别
2020-06-25 v2
摘要
人脸解析是一项重要的计算机视觉任务，需要对面部部件（如眼睛、鼻子、嘴巴等）进行准确的像素分割，为进一步的人脸分析、修改及其他应用提供基础。互联卷积神经网络（iCNN）已被证明是一种有效的人脸解析两阶段模型。然而，原始iCNN分两阶段单独训练，限制了其性能。为解决该问题，我们引入一种简单、端到端的人脸解析框架：STN辅助的iCNN（STN-iCNN），其通过在两个孤立阶段间添加空间变换网络（STN）来扩展iCNN。STN-iCNN利用STN为原始两阶段iCNN流水线提供可训练连接，使端到端联合训练成为可能。此外，作为副产品，STN还提供了比原始裁剪器更精确的裁剪部件。由于这两点优势，我们的方法显著提升了原始模型的精度。我们的模型在标准人脸解析数据集Helen Dataset上取得了有竞争力的性能，并在CelebAMask-HQ数据集上取得优越性能，证明其良好泛化能力。我们的代码已发布于https://github.com/aod321/STN-iCNN。
引用
@article{arxiv.2002.04831,
title = {End-to-End Face Parsing via Interlinked Convolutional Neural Networks},
author = {Zi Yin and Valentin Yiu and Xiaolin Hu and Liang Tang},
journal= {arXiv preprint arXiv:2002.04831},
year = {2020}
}