用于情感识别的空间-时间循环神经网络
计算机视觉与模式识别
2018-05-10 v1
摘要
情感分析是在许多大型潜在应用中赋予人造机器真实智能的关键问题。作为人类情感的外在表现，脑电图(EEG)信号和视频人脸信号被广泛用于追踪和分析人类的情感信息。根据其空间-时间体积的共同特征，本文提出一种称为空间-时间循环神经网络(STRNN)的新型深度学习框架，将两种不同信号源的学习统一为空间-时间依赖模型。在STRNN中，为捕捉那些空间上共现的情感变化，采用多方向循环神经网络(RNN)层通过从多个角度遍历每个时间片的空间区域来捕获长距离上下文线索。然后进一步使用双向时间RNN层从由空间RNN层产生的每个时间片空间特征串联而成的序列中学习判别性时间依赖。为了进一步选择那些情感表示的显著区域，我们对空间和时间域的隐藏状态施加稀疏投影，这实际上也由于这种全局考虑增加了模型的判别能力。因此，这种两层RNN模型构建了输入信号的空间依赖和时间依赖。在公开的EEG和面部表情情感数据集上的实验结果表明，所提出的STRNN方法比那些最先进的方法更具竞争力。
引用
@article{arxiv.1705.04515,
title = {Spatial-Temporal Recurrent Neural Network for Emotion Recognition},
author = {Tong Zhang and Wenming Zheng and Zhen Cui and Yuan Zong and Yang Li},
journal= {arXiv preprint arXiv:1705.04515},
year = {2018}
}