用于合成面部表情识别的 AU 监督卷积视觉 Transformer
计算机视觉与模式识别
2022-07-25 v2
摘要
本文描述了我们针对 2022 年自然场景情感行为分析（ABAW）竞赛六基本表情分类赛道的提出方法。在从合成数据学习（LSD）任务中，面部表情识别（FER）方法旨在从人工生成数据中学习表情表示并泛化至真实数据。由于合成数据的模糊性与面部动作单元（AU）的客观性，我们借助 AU 信息提升性能，并做出如下贡献。首先，为使模型适应合成场景，我们使用来自预训练大规模人脸识别数据的知识。其次，我们提出一个概念新颖的框架，称为 AU 监督卷积视觉 Transformer（AU-CVT），其通过联合训练带有 AU 或伪 AU 标签的辅助数据集，明显提升 FER 性能。我们的 AU-CVT 在验证集上取得 F1 分数 ，准确率 。我们的工作源代码公开于：https://github.com/msy1412/ABAW4
引用
@article{arxiv.2207.09777,
title = {AU-Supervised Convolutional Vision Transformers for Synthetic Facial Expression Recognition},
author = {Shuyi Mao and Xinpeng Li and Junyao Chen and Xiaojiang Peng},
journal= {arXiv preprint arXiv:2207.09777},
year = {2022}
}