基于掩码自编码器的多模态面部情感分析
计算机视觉与模式识别
2023-04-12 v2
摘要
人类情感行为分析致力于分析人类表情或其他行为以增进对人类心理的理解。CVPR 2023 野外情感行为分析（ABAW）竞赛致力于提供高质量大规模的 Aff-wild2，用于识别常用情绪表征，如动作单元（AU）、基本表情类别（EXPR）与效价-唤醒度（VA）。该竞赛致力于在提升真实场景中情感分析研究的准确性与实用性方面取得重大进展。本文介绍我们提交至 CVPR 2023: ABAW5 的方案。我们的方法包含若干关键组件。首先，我们利用以自监督方式在大规模人脸图像数据集上预训练的掩码自编码器（MAE）模型的视觉信息。接下来，我们在 Aff-wild2 的图像帧上微调 MAE 编码器以用于 AU、EXPR 与 VA 任务，这可视为静态单模态训练。此外，我们利用视频中的多模态与时间信息，并实现基于 transformer 的框架以融合多模态特征。我们的方法在 ABAW5 竞赛中取得令人印象深刻的成果，在 AU 与 EXPR 赛道上平均 F1 分数分别为 55.49 与 41.21，在 VA 赛道上平均 CCC 为 0.6372。我们的方法在 EXPR 与 AU 赛道排名第一，在 VA 赛道排名第二。大量定量实验与消融研究证明了我们所提方法的有效性。
引用
@article{arxiv.2303.10849,
title = {Multi-modal Facial Affective Analysis based on Masked Autoencoder},
author = {Wei Zhang and Bowen Ma and Feng Qiu and Yu Ding},
journal= {arXiv preprint arXiv:2303.10849},
year = {2023}
}