通过自适应约束自注意力和因果去混淆进行面部动作单元检测
计算机视觉与模式识别
2024-10-16 v1
摘要
面部动作单元 (AU) 检测仍是一个具有挑战性的任务，由于 AU 的细微性、动态性和多样性。最近，已引入自注意力和因果推断技术用于 AU 检测。然而，大多数现有方法直接学习由 AU 检测指导的自注意力，或在因果干预中采用通用模式。前者常在全局范围内捕获无关信息，后者忽略每个 AU 的特定因果特征。本文提出一种新颖的 AU 检测框架，称为 AC2D，通过自适应约束自注意力权重分布和因果去混淆样本。具体而言，我们探讨了自注意力权重分布机制，将每个 AU 的自注意力权重分布视为空间分布，并在位置预定义注意力约束和 AU 检测指导下自适应学习。此外，我们为每个 AU 提出了一个因果干预模块，以抑制由训练样本引起的偏差以及来自无关 AU 的干扰。广泛的实验表明，我们的方法在 BP4D、DISFA、GFT、BP4D+ 等受约束场景以及Aff-Wild2 等不受约束场景的挑战性基准上实现了与最新 AU 检测方法相当的性能。代码已公开于 https://github.com/ZhiwenShao/AC2D。
引用
@article{arxiv.2410.01251,
title = {Facial Action Unit Detection by Adaptively Constraining Self-Attention and Causally Deconfounding Sample},
author = {Zhiwen Shao and Hancheng Zhu and Yong Zhou and Xiang Xiang and Bing Liu and Rui Yao and Lizhuang Ma},
journal= {arXiv preprint arXiv:2410.01251},
year = {2024}
}
备注
This paper is accepted by International Journal of Computer Vision