利用掩码自编码器、时序卷积网络与 Transformer 的自预训练提升连续情绪识别
计算机视觉与模式识别
2024-03-19 v1
摘要
人类情绪识别在实现无缝人机交互中起着关键作用。本文阐述了我们在第六届野外情感行为分析研讨会与竞赛（ABAW）框架下，应对效价-唤醒度（VA）估计挑战、表情（Expr）分类挑战和动作单元（AU）检测挑战的方法。本研究提出了一种旨在改进连续情绪识别的新方法。我们首先在人脸数据集上利用掩码自编码器（MAE）进行预训练，随后在标注了表情（Expr）标签的 aff-wild2 数据集上进行微调。预训练模型充当了熟练的视觉特征提取器，从而增强了模型的鲁棒性。此外，我们通过在框架中集成时序卷积网络（TCN）模块和 Transformer 编码器模块，进一步提升了连续情绪识别的性能。
引用
@article{arxiv.2403.11440,
title = {Boosting Continuous Emotion Recognition with Self-Pretraining using Masked Autoencoders, Temporal Convolutional Networks, and Transformers},
author = {Weiwei Zhou and Jiada Lu and Chenkun Ling and Weifeng Wang and Shaowei Liu},
journal= {arXiv preprint arXiv:2403.11440},
year = {2024}
}