LEAF：揭示半监督人脸表情识别中两个面向
计算机视觉与模式识别
2025-02-04 v3
摘要
半监督学习已成为解决人脸表情识别（FER）任务中标签稀缺挑战的有前景的方法。然而，当前的国际前沿方法主要关注一个面向，即生成高质量的伪标签，而忽略了另一个面向：增强表情相关的表征。本文提出一种统一框架，称为层次化表达式解耦与融合（hierarchicaL dEcoupling And Fusing，LEAF），以协调表情相关的表征与伪标签，用于半监督 FER。LEAF 引入一种在语义、实例和类别三个层次上运行的层次化表达式感知聚合策略。（1）在语义和实例层面，LEAF 将表征解耦为表情不可辨识和表情相关组成部分，并通过可学习的门控权重自适应地将其融合。（2）在类别层面，LEAF 通过将预测解耦为正负两个部分来分配模糊伪标签，并采用一致性损失确保同一图像两个增广视图之间的一致性。广泛的基准数据集上的实验表明，通过揭示并协调硬币的两个面向，LEAF 在性能上优于国际前沿的半监督 FER 方法，有效地利用了标记和未标记数据。此外，所提出的表情感知聚合策略可无缝集成到现有的半监督框架中，从而带来显著的性能提升。我们的代码已公开于 \url{https://github.com/zfkarl/LEAF}。
引用
@article{arxiv.2404.15041,
title = {LEAF: Unveiling Two Sides of the Same Coin in Semi-supervised Facial Expression Recognition},
author = {Fan Zhang and Zhi-Qi Cheng and Jian Zhao and Xiaojiang Peng and Xuelong Li},
journal= {arXiv preprint arXiv:2404.15041},
year = {2025}
}