具有不确定性建模的多任务 Transformer 用于基于人脸的情感计算
计算机视觉与模式识别
2022-12-13 v3
摘要
基于人脸的情感计算指从人脸图像中检测情绪。它有助于实现对人类行为更好的自动理解，并可能为改善人机交互铺平道路。然而，其面临设计情绪计算表示的挑战性任务。迄今为止，情绪要么在 2D 效价/唤醒空间中连续表示，要么以 Ekman 的 7 种基本情绪的离散方式表示。此外，Ekman 的面部动作单元（AU）系统也通过使用单块肌肉激活码本表征情绪。ABAW3 和 ABAW4 多任务挑战是首批提供带有这三类标签的大规模数据库的工作。本文提出一种基于 Transformer 的多任务方法，用于联合学习预测效价唤醒、动作单元和基本情绪。从架构角度看，我们的方法采用任务级 token 方法以高效建模任务间的相似性。从学习角度看，我们使用不确定性加权损失来建模三个任务标注之间随机性差异。
引用
@article{arxiv.2208.03506,
title = {Multi-Task Transformer with uncertainty modelling for Face Based Affective Computing},
author = {Gauthier Tallec and Jules Bonnard and Arnaud Dapogny and Kévin Bailly},
journal= {arXiv preprint arXiv:2208.03506},
year = {2022}
}