一种用于动作单元与表情识别的多模态多任务学习方法
计算机视觉与模式识别
2021-07-16 v2
摘要
分析人类情感对于人机交互系统至关重要。大多数方法在受限场景下开发，不适用于自然场景(in-the-wild)设置。自然场景情感行为分析(ABAW) 2021 竞赛为该自然场景问题提供了基准。本文中，我们提出一种利用视觉与音频信息的多模态多任务学习方法。我们使用动作单元(AU)与表情标注来训练模型，并应用序列模型进一步提取视频帧间的关联。我们在验证集上取得了 0.712 的 AU 分数与 0.477 的表情分数。这些结果证明了我们的方法在提升模型性能方面的有效性。
引用
@article{arxiv.2107.04187,
title = {A Multi-modal and Multi-task Learning Method for Action Unit and Expression Recognition},
author = {Yue Jin and Tianqing Zheng and Chao Gao and Guoqiang Xu},
journal= {arXiv preprint arXiv:2107.04187},
year = {2021}
}
备注
5 pages, 3 figures, 2 tables