探索对抗学习用于深度半监督面部动作单元识别
计算机视觉与模式识别
2021-06-07 v1
摘要
当前工作将面部动作单元（AU）识别表述为监督学习问题，训练期间需要完全 AU 标注的面部图像。为大量面部图像提供 AU 标注即便可能也颇具挑战。幸运的是，无论是否人工标注，AU 均出现于所有面部图像上，并满足底层解剖机制与人类行为习性。本文提出一种从部分 AU 标注面部图像进行面部动作单元识别的深度半监督框架。具体地，所提深度半监督 AU 识别方法由一个深度识别网络与一个判别器 D 组成。深度识别网络 R 从大规模面部图像学习面部表征，并从有限真值 AU 标签学习 AU 分类器。引入判别器 D 以强制真值 AU 标签固有的 AU 分布与来自有标注及无标注面部图像的预测 AU 标签分布之间的统计相似性。深度识别网络旨在最小化有标注面部图像的识别损失、忠实表征有标注与无标注面部图像的固有 AU 分布，并混淆判别器。训练期间，深度识别网络 R 与判别器 D 交替优化。因而，底层解剖机制所致的固有 AU 分布被用以从部分 AU 标注数据构建更优特征表征与 AU 分类器。在两个基准数据库上的实验表明，所提方法通过对抗学习成功捕捉 AU 分布，并优于最先进的 AU 识别工作。
引用
@article{arxiv.2106.02258,
title = {Exploring Adversarial Learning for Deep Semi-Supervised Facial Action Unit Recognition},
author = {Shangfei Wang and Yanan Chang and Guozhu Peng and Bowen Pan},
journal= {arXiv preprint arXiv:2106.02258},
year = {2021}
}