使用带掩码学习的 Transformer 进行情绪识别
计算机视觉与模式识别
2024-08-06 v2 人工智能
摘要
近年来，深度学习在包括人类情绪与行为分析在内的各个领域取得了创新性进展。诸如野外情感行为分析 (ABAW) 竞赛等倡议，通过提供多样化且具有挑战性的数据集，使得能够精确评估复杂情绪状态，对推动该领域的研究尤为关键。本研究利用 Vision Transformer (ViT) 和 Transformer 模型，专注于效价-唤醒度 (VA) 的估计（表示情绪的积极性和强度）、各种面部表情的识别以及代表基本肌肉运动的动作单元 (AU) 的检测。该方法超越了传统的基于卷积神经网络 (CNN) 和长短期记忆网络 (LSTM) 的方法，提出了一个新的基于 Transformer 的框架，最大限度地增强了对时空特征的理解。本研究的核心贡献包括引入了一种通过随机帧掩码进行学习的技术，以及应用了针对不平衡数据调整的 Focal loss，从而提高了情绪与行为分析在真实世界环境中的准确性和适用性。该方法有望为情感计算和深度学习方法的进步做出贡献。
引用
@article{arxiv.2403.13731,
title = {Emotion Recognition Using Transformers with Masked Learning},
author = {Seongjae Min and Junseok Yang and Sangjun Lim and Junyong Lee and Sangwon Lee and Sejoon Lim},
journal= {arXiv preprint arXiv:2403.13731},
year = {2024}
}