Deep-HOSeq：用于多模态情感分析的深度高阶序列融合
人工智能
2020-10-19 v1
摘要
多模态情感分析利用多个异构模态进行情感分类。近期的多模态融合方案定制LSTM以发现模态内动态，并设计复杂的注意力机制以从多模态序列中发现模态间动态。尽管强大，这些方案完全依赖注意力机制，由于两个主要缺陷而存在问题：1）欺骗性注意力掩码，以及2）训练动态。此外，需要费力地优化这些整合架构的超参数，特别是受注意力方案约束的定制LSTM。在本研究中，我们首先提出一个通用网络，利用基础LSTM和基于张量的卷积网络来发现模态内和模态间动态。然后我们提出独特的网络来封装模态间的时间粒度，这在从异步序列中提取信息时至关重要。随后我们通过融合层整合这两类信息，并将我们的新型多模态融合方案称为Deep-HOSeq（具有高阶通用与独特序列信息的深度网络）。所提出的Deep-HOSeq高效地从多模态序列中发现所有重要信息，并且利用两类信息的有效性在CMU-MOSEI和CMU-MOSI基准数据集上得到了经验验证。我们提出的Deep-HOSeq源代码已发布于 https://github.com/sverma88/Deep-HOSeq--ICDM-2020。
引用
@article{arxiv.2010.08218,
title = {Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis},
author = {Sunny Verma and Jiwei Wang and Zhefeng Ge and Rujia Shen and Fan Jin and Yang Wang and Fang Chen and Wei Liu},
journal= {arXiv preprint arXiv:2010.08218},
year = {2020}
}
备注
Accepted at ICDM 2020