学习用于面部动作单元检测的对比特征表示
计算机视觉与模式识别
2025-12-01 v9 人工智能
机器学习
摘要
对于面部动作单元 (AU) 检测任务，准确捕捉不同 AU 之间细微的面部差异对于可靠的检测至关重要。此外，AU 检测面临类别不平衡以及存在噪声或错误标签的挑战，这些因素会破坏检测精度。在本文中，我们引入了一种面向 AU 检测的新型对比学习框架，该框架结合了自监督和监督信号，从而增强了判别性特征的学习以实现准确的 AU 检测。为了解决类别不平衡问题，我们采用了一种负样本重加权策略，该策略调整了少数类和多数类样本的参数更新步长。此外，为了应对噪声和错误 AU 标签带来的挑战，我们采用了一种包含三种不同类型正样本对的采样技术。这使我们能够将自监督信号注入到监督信号中，有效减轻噪声标签的不利影响。我们在五个广泛使用的基准数据集（BP4D、DISFA、BP4D+、GFT 和 Aff-Wild2）上进行的实验评估，突显了我们的方法与最先进的 AU 检测方法相比的优越性能。我们的代码可在 https://github.com/Ziqiao-Shang/AUNCE 获取。
引用
@article{arxiv.2402.06165,
title = {Learning Contrastive Feature Representations for Facial Action Unit Detection},
author = {Ziqiao Shang and Bin Liu and Fengmao Lv and Fei Teng and Tianrui Li and Lan-Zhe Guo},
journal= {arXiv preprint arXiv:2402.06165},
year = {2025}
}
备注
This paper has been accepted by Pattern Recognition