MGRR-Net：用于面部动作单元检测的多层级图关系推理网络
计算机视觉与模式识别
2024-05-24 v4
摘要
面部动作编码系统（FACS）对面部图像中的动作单元（AUs）进行编码，因其在面部表情分析中的广泛应用而受到大量研究关注。许多在自动面部动作单元（AU）检测上表现良好的方法主要关注建模对应局部肌肉区域间各类 AU 关系，或仅挖掘全局注意力感知面部特征，却忽视了局部与全局特征间的动态交互。我们认为，由于表情与个体特征的多样性，仅从单一视角编码 AU 特征可能无法捕获区域与全局人脸特征间的丰富上下文信息，以及跨 AU 的细致差异。本文提出一种新颖的用于面部 AU 检测的多层级图关系推理网络（称为 MGRR-Net）。MGRR-Net 的每一层均执行多层级（即区域级、像素级与通道级）特征学习。其中，通过图神经网络从局部人脸块特征进行的区域级特征学习可编码不同 AU 间的相关性，而通过图注意力网络进行的像素级与通道级特征学习可增强来自全局人脸特征的 AU 特征判别能力。三级特征的融合提升了 AU 判别能力。在 DISFA 与 BP4D AU 数据集上的大量实验表明，所提方法取得了优于当前最优（SOTA）方法的性能。
引用
@article{arxiv.2204.01349,
title = {MGRR-Net: Multi-level Graph Relational Reasoning Network for Facial Action Units Detection},
author = {Xuri Ge and Joemon M. Jose and Songpei Xu and Xiao Liu and Hu Han},
journal= {arXiv preprint arXiv:2204.01349},
year = {2024}
}
备注
20 pages, 5 figures, 8 tables;