基于自知识蒸馏的三流时移注意力网络用于微表情识别
计算机视觉与模式识别
2025-07-03 v3
摘要
微表情是当人们试图隐藏真实情绪时自发产生的细微面部运动。微表情识别在刑事分析和心理治疗等多个领域至关重要。然而，由于微表情强度低且公开数据集规模小，微表情识别具有挑战性。为此，本文提出了一种基于自知识蒸馏的三流时移注意力网络。首先，为解决肌肉运动强度低的问题，我们利用基于学习的运动放大模块来增强肌肉运动的强度。其次，我们在局部空间流中采用高效通道注意力模块，使网络聚焦于与微表情高度相关的面部区域。此外，在动态时间流中使用了时移模块，该模块通过混合来自两个不同时间域的运动信息，在不增加参数的情况下实现时间建模。进一步地，我们通过引入辅助分类器并使用网络最深部分进行监督，将自知识蒸馏引入微表情识别任务，鼓励所有模块充分探索训练集的特征。最后，在五个公开可用的微表情数据集上进行了大量实验。实验结果表明，我们的网络优于其他现有方法，并达到了新的最先进性能。我们的代码可在 https://github.com/GuanghaoZhu663/SKD-TSTSAN 获取。
引用
@article{arxiv.2406.17538,
title = {Three-Stream Temporal-Shift Attention Network Based on Self-Knowledge Distillation for Micro-Expression Recognition},
author = {Guanghao Zhu and Lin Liu and Yuhao Hu and Haixin Sun and Fang Liu and Xiaohui Du and Ruqian Hao and Juanxiu Liu and Yong Liu and Hao Deng and Jing Zhang},
journal= {arXiv preprint arXiv:2406.17538},
year = {2025}
}