FAN-Trans：面向面部动作单元检测的在线知识蒸馏
计算机视觉与模式识别
2022-11-14 v1
摘要
由于面部动作单元（AU）检测在面部行为分析中的重要性，其已引起研究界越来越多的关注。利用在线知识蒸馏框架，我们提出用于 AU 检测的“FAN-Trans”方法。我们的模型由卷积与 transformer 模块混合网络组成，以学习各 AU 特征并建模 AU 共现关系。模型使用预训练人脸对齐网络作为特征提取器。经小型可学习附加卷积子网络进一步变换后，各 AU 特征被送入 transformer 模块以增强其表征。由于多个 AU 常同时出现，我们提出在 transformer 模块中引入可学习注意力丢弃机制，以学习不同 AU 特征间的关联。我们还设计了一个通过综合考虑所有 AU 特征来预测 AU 存在的分类器，以显式捕捉标签依赖。最后，我们尝试在该任务训练阶段引入在线知识蒸馏，进一步提升模型性能。在 BP4D 与 DISFA 数据集上的实验证明了所提方法的有效性。
引用
@article{arxiv.2211.06143,
title = {FAN-Trans: Online Knowledge Distillation for Facial Action Unit Detection},
author = {Jing Yang and Jie Shen and Yiming Lin and Yordan Hristov and Maja Pantic},
journal= {arXiv preprint arXiv:2211.06143},
year = {2022}
}
备注
9 pages, 6 figures