RethinkingTMSC：面向目标的多模态情感分类实证研究
计算与语言
2023-12-27 v2
摘要
近年来，面向目标的多模态情感分类（TMSC）受到学者广泛关注。然而，当前多模态模型已遭遇性能瓶颈。为探究该问题的成因，我们对数据集进行了大量实证评估与深入分析，以回答以下问题：Q1：各模态对 TMSC 是否同等重要？Q2：哪些多模态融合模块更为有效？Q3：现有数据集是否充分支撑该研究？我们的实验与分析揭示，当前 TMSC 系统主要依赖文本模态，因为大多数目标的情感仅由文本即可判定。据此，我们从模型设计与数据集构建两方面指出 TMSC 任务若干值得研究的方向。代码与数据见 https://github.com/Junjie-Ye/RethinkingTMSC。
关键词
引用
@article{arxiv.2310.09596,
title = {RethinkingTMSC: An Empirical Study for Target-Oriented Multimodal Sentiment Classification},
author = {Junjie Ye and Jie Zhou and Junfeng Tian and Rui Wang and Qi Zhang and Tao Gui and Xuanjing Huang},
journal= {arXiv preprint arXiv:2310.09596},
year = {2023}
}