不确定模态缺失下的标签辅助多模态情感分析
机器学习
2022-05-02 v1 人工智能
摘要
多模态情感分析以往多在全部模态均可用的假设下研究。然而这一强假设在实践中并非总成立，且多数多模态融合模型在部分模态缺失时可能失效。已有若干工作处理了模态缺失问题，但大多仅考虑单模态缺失情形，忽略了实际更普遍的多模态缺失情形。为此，本文提出一种标签辅助Transformer编码器（TATE）网络来处理不确定模态缺失问题。具体而言，我们设计了一个标签编码模块以覆盖单模态与多模态缺失情形，从而引导网络注意力指向那些缺失模态。此外，我们采用一种新的空间投影模式来对齐公共向量。随后，利用Transformer编码器-解码器网络学习缺失模态特征。最后，将Transformer编码器的输出用于最终情感分类。在CMU-MOSI和IEMOCAP数据集上的大量实验表明，相较若干基线方法，我们的方法取得了显著改进。
引用
@article{arxiv.2204.13707,
title = {Tag-assisted Multimodal Sentiment Analysis under Uncertain Missing Modalities},
author = {Jiandian Zeng and Tianyi Liu and Jiantao Zhou},
journal= {arXiv preprint arXiv:2204.13707},
year = {2022}
}
备注
Accepted by SIGIR2022