QCS：基于四元组交叉相似度的面部表情识别特征精炼
计算机视觉与模式识别
2025-01-28 v5
摘要
面部表情识别面临数据集中标记的重要特征与未标记的冗余特征混合的挑战。本文引入交叉相似度注意力（Cross Similarity Attention, CSA），从图像对中挖掘更丰富的内在信息，克服了将 ViT 的缩放点积注意力直接应用于计算两幅不同图像之间相似度的局限性。基于 CSA，我们通过多个分支之间的交互，在细粒度特征层面同时最小化类内差异并最大化类间差异。对比残差蒸馏被用于将交叉模块中学到的信息传递回基础网络。我们巧妙地设计了一个四分支中心对称网络——四元组交叉相似度（Quadruplet Cross Similarity, QCS），缓解了交叉模块引起的梯度冲突，实现了平衡且稳定的训练。它能够自适应地提取判别性特征同时隔离冗余特征。交叉注意力模块仅存在于训练阶段，推理时仅保留一个基础分支，因此不会增加推理时间。大量实验表明，我们提出的方法在多个 FER 数据集上达到了最先进的性能。
引用
@article{arxiv.2411.01988,
title = {QCS: Feature Refining from Quadruplet Cross Similarity for Facial Expression Recognition},
author = {Chengpeng Wang and Li Chen and Lili Wang and Zhaofan Li and Xuebin Lv},
journal= {arXiv preprint arXiv:2411.01988},
year = {2025}
}