基于区域与关系学习的自监督面部动作单元检测
计算机视觉与模式识别
2023-03-13 v1
摘要
由于人工标注的稀缺性，面部动作单元（AU）检测是一项具有挑战性的任务。近期，利用自监督学习进行 AU 检测的研究不断涌现，旨在从大量无标注数据中学习有意义的 AU 表示。然而，现有大多数基于自监督学习的 AU 检测工作仅利用全局面部特征，而未充分挖掘 AU 相关的局部性与关联性等属性。本文提出一种新颖的基于区域与关系学习的自监督 AU 检测框架。具体而言，利用 AU 相关注意力图引导模型更关注 AU 特定区域，以增强 AU 局部特征的完整性。同时，引入一种改进的最优传输（OT）算法来挖掘 AU 之间的相关性特征。此外，在特征学习中采用 Swin Transformer 对每个 AU 区域内部的长距离依赖进行建模。在 BP4D 和 DISFA 上的评估结果表明，我们所提方法与最先进的自监督学习方法及有监督 AU 检测方法相当甚至更优。
引用
@article{arxiv.2303.05708,
title = {Self-supervised Facial Action Unit Detection with Region and Relation Learning},
author = {Juan Song and Zhilei Liu},
journal= {arXiv preprint arXiv:2303.05708},
year = {2023}
}
备注
Accepted by ICASSP 2023