HetEmotionNet：用于多模态情感识别的双流异构图循环神经网络
机器学习
2021-08-10 v1 人工智能
人机交互
多媒体
摘要
基于生理信号在多媒体刺激下的人类情感研究是一个新兴领域，基于多模态信号的情感识别已取得重要进展。然而，充分利用空间-频谱-时域特征之间的互补性进行情感识别，以及建模多模态信号之间的异质性与相关性，仍具挑战性。本文提出一种新颖的双流异构图循环神经网络，名为 HetEmotionNet，融合多模态生理信号进行情感识别。具体而言，HetEmotionNet 由空间-时域流和空间-频域流组成，可在统一框架中融合空间-频谱-时域特征。每个流由用于建模异质性的图 transformer 网络、用于建模相关性的图卷积网络，以及用于捕获时域或频域依赖的门控循环单元构成。在两个真实世界数据集上的大量实验表明，我们提出的模型优于最先进（SOTA）基线。
引用
@article{arxiv.2108.03354,
title = {HetEmotionNet: Two-Stream Heterogeneous Graph Recurrent Neural Network for Multi-modal Emotion Recognition},
author = {Ziyu Jia and Youfang Lin and Jing Wang and Zhiyang Feng and Xiangheng Xie and Caijie Chen},
journal= {arXiv preprint arXiv:2108.03354},
year = {2021}
}
备注
Accepted by ACM MM 2021. The SOLE copyright holder is ACM Multimedia, all rights reserved