面向鲁棒多模态情感分析的高效多模态Transformer与双级特征恢复
机器学习
2023-05-23 v2 计算与语言
计算机视觉与模式识别
多媒体
摘要
随着用户生成的在线视频的激增，多模态情感分析（MSA）近期吸引了越来越多的关注。尽管取得了显著进展，在迈向鲁棒MSA的道路上仍存在两大挑战：1）对非对齐多模态数据建模跨模态交互时的低效性；2）对现实环境中典型出现的随机模态特征缺失的脆弱性。本文提出一个通用且统一的框架来解决它们，称为具有双级特征恢复的高效多模态Transformer（EMT-DLFR）。具体而言，EMT采用各模态的语句级表示作为全局多模态上下文，与局部单模态特征交互并相互促进。它不仅避免了先前局部-局部跨模态交互方法的二次扩展代价，还带来了更优的性能。为提升模型在不完整模态设置下的鲁棒性，一方面，DLFR执行低级特征重建以隐式鼓励模型从不完整数据中学习语义信息；另一方面，它创新性地将完整与不完整数据视为同一样本的两个不同视图，并利用孪生表示学习显式地拉近其高级表示。在三个流行数据集上的综合实验表明，我们的方法在完整与不完整模态设置下均取得了优越性能。
引用
@article{arxiv.2208.07589,
title = {Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis},
author = {Licai Sun and Zheng Lian and Bin Liu and Jianhua Tao},
journal= {arXiv preprint arXiv:2208.07589},
year = {2023}
}
备注
Accepted by TAC. The code is available at https://github.com/sunlicai/EMT-DLFR