不留死角：为不平衡面部表情识别挖掘额外知识

面部表情数据具有显著的不平衡特征，大多数采集数据表现为高兴或中性表情，而恐惧或厌恶等表情的样本较少。这种不平衡给面部表情识别（FER）模型带来了挑战，阻碍其充分理解各种人类情绪状态的能力。现有 FER 方法通常在高度不平衡的测试集上报告总体准确率，但在所有表情类别的平均准确率方面表现较低。本文旨在解决不平衡 FER 问题。现有方法主要专注于仅从少数类样本中学习少数类的知识。而我们提出了一种新方法，从多数类和少数类样本中提取与少数类相关的额外知识。我们的动机源于这样一种信念：FER 类似于分布学习任务，其中单个样本可能包含多个类别的信息。例如，来自多数类“惊讶”的样本也可能包含少数类“恐惧”的有用特征。受此启发，我们提出了一种新方法，利用重平衡注意力图对模型进行正则化，使其能够从所有训练样本中提取关于少数类的变换不变信息。此外，我们引入重平衡平滑标签来调节交叉熵损失，通过利用关于不平衡训练数据标签分布的额外信息，引导模型更多地关注少数类。在不同数据集和骨干网络上的大量实验表明，所提出的两个模块协同作用对模型进行正则化，并在不平衡 FER 任务下取得了最先进的性能。代码见 https://github.com/zyh-uaiaaaa。