用于面部动作单元检测的全局到局部表情感知嵌入
计算机视觉与模式识别
2022-10-31 v2 人工智能
摘要
表情和面部动作单元（Action Units, AUs）是两个层次的面部行为描述符。表情辅助信息已被广泛用于提高 AU 检测性能。然而，大多数现有的表情表示只能描述预先确定的离散类别（例如，愤怒、厌恶、快乐、悲伤等），而无法像 AU 那样捕捉细微的表情变化。在本文中，我们提出了一种新颖的细粒度全局表情表示编码器，以捕捉细微且连续的面部运动，从而促进 AU 检测。为了获得这种全局表情表示，我们提出根据全局表情相似度在大规模表情数据集上训练一个表情嵌入模型。此外，考虑到 AU 的局部定义，提取局部 AU 特征是必不可少的。因此，我们设计了一个局部 AU 特征模块，为每个 AU 生成局部面部特征。具体来说，它由一个 AU 特征图提取器和一个相应的 AU 掩码提取器组成。首先，这两个提取器分别将全局表情表示转换为 AU 特征图和掩码。然后，将 AU 特征图及其对应的 AU 掩码相乘，生成聚焦于局部面部区域的 AU 掩码特征。最后，将 AU 掩码特征输入到 AU 分类器中以判断 AU 的发生。大量实验结果证明了我们提出的方法的优越性。我们的方法有效优于先前的工作，并在广泛使用的面部数据集（包括 BP4D、DISFA 和 BP4D+）上取得了 SOTA 性能。
引用
@article{arxiv.2210.15160,
title = {Global-to-local Expression-aware Embeddings for Facial Action Unit Detection},
author = {Rudong An and Wei Zhang and Hao Zeng and Wei Chen and Zhigang Deng and Yu Ding},
journal= {arXiv preprint arXiv:2210.15160},
year = {2022}
}