基于局部与非局部联合网络自适应增强面部表情关键区域
计算机视觉与模式识别
2024-04-02 v2
摘要
由于面部表情数据类间差异较小，面部表情识别（FER）仍是一项具有挑战性的研究。鉴于面部关键区域对FER的重要性，许多现有研究利用一些标注关键点的先验信息来提升FER性能。然而，手动标注面部关键点复杂且耗时，尤其是对于海量野外表情图像。基于此，本文提出一种局部与非局部联合网络，在FER的特征学习中自适应地“点亮”面部关键区域。在所提方法中，分别基于面部局部与非局部信息构建两部分：提出多个局部网络的组合以提取对应多个面部局部区域的局部特征，并设计非局部注意力网络以探究各局部区域的重要性。特别地，非局部网络获得的注意力权重被反馈至局部部分，以实现面部全局与局部信息的交互。有趣的是，对应局部区域的非局部权重逐步更新，且更高权重被赋予更关键的区域。此外，采用U-Net提取表情图像深层语义信息与低层细节信息的综合特征。最后，实验结果表明，在五个基准数据集上，所提方法相较若干SOTA方法取得了更具竞争力的性能。值得注意的是，对局部区域非局部权重的分析表明，该方法可在无任何人脸关键点信息的特征学习过程中自动增强某些关键区域。
引用
@article{arxiv.2203.14045,
title = {Adaptively Enhancing Facial Expression Crucial Regions via Local Non-Local Joint Network},
author = {Guanghui Shi and Shasha Mao and Shuiping Gou and Dandan Yan and Licheng Jiao and Lin Xiong},
journal= {arXiv preprint arXiv:2203.14045},
year = {2024}
}