应对动作单元检测中的噪声与不平衡问题
计算机视觉与模式识别
2023-03-07 v1
摘要
动作单元(AU)检测旨在利用其所涉及的肌肉激活来自动刻画面部表情。其主要意义在于提供一种低层人脸表征,可用于辅助高层情感计算任务的学习。然而,这是一项具有挑战性的任务。事实上,现有数据库所呈现的人脸差异性有限,且偏向于中性表情而不平衡。此外,由于 AU 涉及细微的面部运动,难以标注,因此少数提供的数据点中可能存在误标。本工作中,我们旨在利用标签平滑的能力,通过降低置信度来缓解噪声样本的负面影响[1]。然而,直接应用标签平滑可能会加剧基于不平衡的既有欠置信问题并降低性能。为规避此问题,我们提出罗宾汉标签平滑(RHLS)。RHLS 的原理是将标签平滑的置信度降低限制于多数类。就此而言,它同时缓解了基于不平衡的过置信问题以及噪声多数类样本的负面影响。从实验角度看,我们表明 RHLS 在 AU 检测中带来了无额外成本的性能提升。特别地,将其应用于一个现代多任务基线之上,我们在 BP4D 上取得了有前景的结果,并在 DISFA 上优于 SOTA 方法。
引用
@article{arxiv.2303.02994,
title = {Fighting noise and imbalance in Action Unit detection problems},
author = {Gauthier Tallec and Arnaud Dapogny and Kevin Bailly},
journal= {arXiv preprint arXiv:2303.02994},
year = {2023}
}