面向面部动作单元检测的多尺度促进自适应关联学习
计算机视觉与模式识别
2023-08-16 v1
摘要
面部动作单元（AU）检测是情感计算与社会机器人中的关键任务，因其有助于识别通过面部表情表达的情绪。在解剖学上，AU之间存在无数关联，其蕴含丰富信息且对AU检测至关重要。先前方法基于专家经验或特定基准上的统计规则使用固定的AU关联，但通过手工设置全面反映AU间复杂关联颇具挑战。另有方法采用全连接图详尽学习这些依赖关系，然而此类方法会导致计算量爆炸及对大数据集的高度依赖。为应对这些挑战，本文提出一种计算量更小的新型自适应AU关联学习（SACL）方法用于AU检测。该方法通过高效利用网络不同层级提取的各级AU运动与情绪表征信息特征，自适应地学习并更新AU关联图。此外，本文探究了多尺度学习在关联信息提取中的作用，并设计了一种简洁高效的多尺度特征学习（MSFL）方法以提升AU检测性能。通过将AU关联信息与时多尺度特征相融合，所提方法获得了更鲁棒的特征表示用于最终AU检测。大量实验表明，在广泛使用的AU检测基准数据集上，所提方法优于当前最优方法，且参数量与FLOPs分别仅为最优方法的28.7%与12.0%。该方法代码见\url{https://github.com/linuxsino/Self-adjusting-AU}。
引用
@article{arxiv.2308.07770,
title = {Multi-scale Promoted Self-adjusting Correlation Learning for Facial Action Unit Detection},
author = {Xin Liu and Kaishen Yuan and Xuesong Niu and Jingang Shi and Zitong Yu and Huanjing Yue and Jingyu Yang},
journal= {arXiv preprint arXiv:2308.07770},
year = {2023}
}
备注
13pages, 7 figures