用于半监督面部动作单元识别的多标签协同正则化
计算机视觉与模式识别
2020-09-24 v2
摘要
面部动作单元（AUs）识别对情绪分析至关重要，并已广泛应用于精神状态分析。现有 AU 识别工作通常需要带有 AU 标签的大规模人脸数据集；然而，人工 AU 标注需要专业知识且耗时。受协同训练方法启发，本文提出一种半监督 AU 识别方法，利用大量无 AU 标签的网络人脸图像和相对较小的带 AU 标注的人脸数据集。不同于需要给定多视角特征并重新训练模型的传统协同训练方法，我们提出一种新颖的协同训练方法，即多标签协同正则化，用于半监督面部 AU 识别。我们利用两个深度神经网络为带标签与无标签人脸图像生成多视角特征，并设计多视角损失以强制两个特征生成器获得条件独立的表示。为约束两个视角的预测一致性，我们进一步通过最小化两视角预测的 AU 概率分布距离提出多标签协同正则化损失。此外，单个 AU 间关系的先验知识通过图卷积网络（GCN）嵌入，以从大规模无标签数据集中挖掘有用信息。在多个基准上的实验表明，所提方法能有效利用无 AU 标签的大规模人脸图像提升 AU 识别精度，并优于当前最优的半监督 AU 识别方法。
引用
@article{arxiv.1910.11012,
title = {Multi-label Co-regularization for Semi-supervised Facial Action Unit Recognition},
author = {Xuesong Niu and Hu Han and Shiguang Shan and Xilin Chen},
journal= {arXiv preprint arXiv:1910.11012},
year = {2020}
}