基于自适应注意力与关系的面部动作单元检测
计算机视觉与模式识别
2023-05-18 v2
摘要
面部动作单元（AU）检测具有挑战性，原因在于难以从细微且动态的 AU 中捕获相关信息。现有方法常求助于 AU 相关区域的定位，其中通过相关面部关键点预定义局部 AU 注意力往往会丢弃关键部分，或学习全局注意力图常包含无关区域。此外，现有关系推理方法常对所有 AU 采用通用模式，而忽略每个 AU 的特定方式。为应对这些局限，我们提出一种新颖的自适应注意力与关系（AAR）框架用于面部 AU 检测。具体而言，我们提出自适应注意力回归网络，在注意力预定义约束与 AU 检测引导下回归每个 AU 的全局注意力图，有助于在强相关区域捕获由关键点指定的依赖关系，以及在弱相关区域捕获面部全局分布的依赖关系。此外，考虑到 AU 的多样性与动态性，我们提出自适应时空图卷积网络，同时推理每个 AU 的独立模式、AU 间相互依赖关系以及时间依赖关系。大量实验表明，我们的方法（i）在受限场景下的 BP4D、DISFA、GFT 以及无约束场景下的 Aff-Wild2 等具有挑战性的基准上取得竞争性能，（ii）能精确学习每个 AU 的区域相关分布。
引用
@article{arxiv.2001.01168,
title = {Facial Action Unit Detection via Adaptive Attention and Relation},
author = {Zhiwen Shao and Yong Zhou and Jianfei Cai and Hancheng Zhu and Rui Yao},
journal= {arXiv preprint arXiv:2001.01168},
year = {2023}
}
备注
This paper has been accepted by IEEE Transactions on Image Processing (TIP)