基于全局-局部表情嵌入辅助的人脸动作单元检测
计算机视觉与模式识别
2022-10-26 v1 人工智能
摘要
由于人脸动作单元（AU）标注需要领域专业知识，常见的AU数据集仅包含有限数量的受试者。因此，AU检测的一个关键挑战是应对身份过拟合。我们发现AU与面部表情高度相关，且现有面部表情数据集通常包含大量身份。本文旨在利用无AU标签的表情数据集来辅助AU检测。具体而言，我们提出了一种由全局-局部面部表情嵌入辅助的新型AU检测框架，称为GLEE-Net。我们的GLEE-Net由三个分支组成，用于提取与身份无关的表情特征以进行AU检测。我们引入全局分支对整体面部表情建模，同时消除身份影响。我们还设计了聚焦于特定局部人脸区域的局部分支。全局与局部分支的联合输出先在表情数据集上预训练为与身份无关的表情嵌入，然后在AU数据集上微调。因此，我们显著缓解了身份有限的问题。此外，我们引入3D全局分支，通过3D人脸重建提取表情系数以巩固2D AU描述。最后，采用基于Transformer的多标签分类器融合所有表征以进行AU检测。大量实验表明，我们的方法在广泛使用的DISFA、BP4D和BP4D+数据集上显著优于最先进方法。
引用
@article{arxiv.2210.13718,
title = {Facial Action Units Detection Aided by Global-Local Expression Embedding},
author = {Zhipeng Hu and Wei Zhang and Lincheng Li and Yu Ding and Wei Chen and Zhigang Deng and Xin Yu},
journal= {arXiv preprint arXiv:2210.13718},
year = {2022}
}