野外环境下的双流视听情感分析
计算机视觉与模式识别
2020-11-03 v2 机器学习
机器学习
摘要
人类情感识别是自然人机交互的重要组成部分。然而，当前方法仍处于起步阶段，尤其是对于野外(in-the-wild)数据。在本工作中，我们介绍了提交给2020年野外情感行为分析(Affective Behavior Analysis in-the-wild, ABAW)竞赛的方案。我们提出了一种双流视听分析模型，用于从视频中识别情感行为。音频和图像流首先被分别处理并输入卷积神经网络(convolutional neural network)。我们没有采用循环架构进行时间分析，而是仅使用时间卷积(temporal convolutions)。此外，模型还获得了在人脸对齐(face-alignment)过程中提取的额外特征。在训练时，我们利用不同情感表示之间的相关性来提升性能。我们的模型在具有挑战性的Aff-Wild2数据库上取得了有前景的结果。
引用
@article{arxiv.2002.03399,
title = {Two-Stream Aural-Visual Affect Analysis in the Wild},
author = {Felix Kuhnke and Lars Rumberg and Jörn Ostermann},
journal= {arXiv preprint arXiv:2002.03399},
year = {2020}
}
备注
6 pages, 2 figures, Face and Gesture 2020 Workshop Paper (ABAW2020 competition)