利用带面部先验的预训练模型进行情感行为分析
计算机视觉与模式识别
2022-09-20 v2
摘要
情感行为分析因广泛应用而引起了研究者的关注。然而，为海量人脸图像获取精确标注是劳动密集型的。因此，我们提出通过在不带标签的人脸图像上预训练的掩码自编码器（Masked Auto-Encoder, MAE）来利用先验面部信息。此外，我们结合 MAE 预训练的 Vision Transformer（ViT）与 AffectNet 预训练的 CNN 来执行多任务情绪识别。我们注意到表情与动作单元（AU）分数对于效价-唤醒（VA）回归是纯净且完整的特征。因此，我们利用 AffectNet 预训练的 CNN 提取表情分数，并与来自 ViT 的表情及 AU 分数拼接，得到最终 VA 特征。此外，我们还提出了一个带两个并行 MAE 预训练 ViT 的协同训练框架用于表情识别任务。为使两个视图相互独立，我们在训练过程中随机掩码大部分图像块。随后，使用 JS 散度使两个视图的预测尽可能一致。在 ABAW4 上的结果表明我们的方法是有效的。
引用
@article{arxiv.2207.11679,
title = {Affective Behaviour Analysis Using Pretrained Model with Facial Priori},
author = {Yifan Li and Haomiao Sun and Zhaori Liu and Hu Han},
journal= {arXiv preprint arXiv:2207.11679},
year = {2022}
}