基于注意力的方法用于第三届ABAW竞赛中的动作单元检测
计算机视觉与模式识别
2022-03-24 v1
摘要
面部动作编码系统是一种对人类情绪表达复杂性进行建模的方法。自动动作单元(AU)检测是人机交互中的一个关键研究领域。本文描述了我们提交给2022年第三届野外情感行为分析(ABAW)竞赛的工作。我们提出了一种在视频中检测面部动作单元的方法。在第一阶段,采用轻量级基于CNN的特征提取器从每个视频帧中提取特征图。然后,应用注意力模块来细化注意力图。随后,利用特征图与注意力分数的加权和导出注意力编码向量。最后,在输出层使用sigmoid函数使预测适用于多标签AU检测。我们在ABAW挑战验证集上取得了0.48的宏F1分数,而基线模型为0.39。
引用
@article{arxiv.2203.12428,
title = {An Attention-based Method for Action Unit Detection at the 3rd ABAW Competition},
author = {Duy Le Hoai and Eunchae Lim and Eunbin Choi and Sieun Kim and Sudarshan Pant and Guee-Sang Lee and Soo-Huyng Kim and Hyung-Jeong Yang},
journal= {arXiv preprint arXiv:2203.12428},
year = {2022}
}