基于多任务辅助校正的不确定面部表情识别
计算机视觉与模式识别
2022-12-15 v1
摘要
深度面部表情识别模型通过大规模标注数据训练取得高性能。然而，公开数据集包含由模糊标注或混淆情绪引起的不确定面部表情，会严重削弱鲁棒性。以往研究通常沿用通用任务中的偏差消除方法，未从不同对应来源的角度考虑不确定性问题。本文提出一种解决不确定面部表情识别的多任务辅助校正新方法，称为 MTAC。具体而言，应用置信度估计块与加权正则化模块以在每批次中突出可靠样本并抑制不确定样本。此外，引入动作单元检测与效价-唤醒度测量两个辅助任务，分别从数据驱动的 AU 图学习语义分布，并基于离散与连续情绪间的潜在依赖缓解类别不平衡。进而，由特征级相似性约束引导的重标注策略为已识别不确定样本生成新标签以促进模型学习。所提方法能以全监督或弱监督方式灵活结合现有框架。在 RAF-DB、AffectNet 与 AffWild2 数据集上的实验表明，MTAC 在面对合成与真实不确定性时较基线获得显著提升，并优于当前最优方法。
引用
@article{arxiv.2212.07144,
title = {Uncertain Facial Expression Recognition via Multi-task Assisted Correction},
author = {Yang Liu and Xingming Zhang and Janne Kauttonen and Guoying Zhao},
journal= {arXiv preprint arXiv:2212.07144},
year = {2022}
}
备注
12 pages, 10 figures, 5 tables. arXiv admin note: text overlap with arXiv:2204.11053