基于上下文感知级联注意力的 RNN 用于视频情感识别
计算机视觉与模式识别
2018-05-31 v1
摘要
在构建人机交互（HCI）系统的许多应用中，情感识别可提供关于用户的关键信息。当前多数视觉情感识别研究集中于探索面部特征。然而，包括周围环境和人体在内的上下文信息也能提供额外线索，以更准确地识别情感。受用于神经机器翻译的 “序列到序列模型” 启发——该模型在循环神经网络（RNN）架构中分别通过编码器和解码器对输入与输出序列建模——本文提出了一种新架构 “CACA-RNN”。所提网络由级联架构中的两个 RNN 组成，用于处理上下文与面部信息以执行视频情感分类。该模型的结果提交至多模态情感识别挑战赛（MEC2017）的视频情感识别子挑战。CACA-RNN 优于 MEC2017 基线（mAP 为 21.7%）：在仅视频挑战的测试集上取得了 45.51% 的 mAP。
引用
@article{arxiv.1805.12098,
title = {Context-aware Cascade Attention-based RNN for Video Emotion Recognition},
author = {Man-Chin Sun and Shih-Huan Hsu and Min-Chun Yang and Jen-Hsien Chien},
journal= {arXiv preprint arXiv:1805.12098},
year = {2018}
}