HSEmotion 团队在第七届 ABAW 挑战中的成绩：多任务学习与复合面部表情识别
计算机视觉与模式识别
2024-07-19 v1
摘要
本文描述了 HSEmotion 团队在第七届情感行为分析在野外 (ABAW) 竞赛中完成的两项任务的结果，即针对面部表情、价值、唤醒程度和动作单元检测的多任务学习，以及复合表情识别。我们提出了一种基于帧级面部特征提取器（在多任务设置下预训练）的高效管道，用于从面部照片中估计价值-唤醒程度和基本面部表情。我们通过使用轻量级神经网络架构（如 MT-EmotiDDAMFN、MT-EmotiEffNet 和 MT-EmotiMobileFaceNet），确保技术方案具备隐私保护特性，这些架构即使无需将面部视频发送到远程服务器，也能在移动设备上运行。结果表明，使用高斯或箱滤波平滑神经网络输出分数是提高整体准确率的关键步骤之一。实验结果表明，对简单混合两种顶级视觉模型预测的简单后处理，可将面部表情识别的 F1 分数提高最高可达 7%。同时，价值和唤醒程度的平均一致性相关系数（CCC）相对于各自帧级预测的最高可提高近 1.25 倍。因此，我们的最终在多任务学习挑战中的验证集上的综合性能得分为基线的 4.5 倍（1.494 vs 0.32）。
引用
@article{arxiv.2407.13184,
title = {HSEmotion Team at the 7th ABAW Challenge: Multi-Task Learning and Compound Facial Expression Recognition},
author = {Andrey V. Savchenko},
journal= {arXiv preprint arXiv:2407.13184},
year = {2024}
}
备注
16 pages, 7 figures, 9 tables