基于序列跨模态语义图的目标导向情感分类
计算机视觉与模式识别
2023-07-25 v2 人工智能
摘要
多模态方面级情感分类(MABSC)是对句子与图像中所提及目标实体的情感进行分类的任务。然而,先前方法未能考虑图像与文本间的细粒度语义关联,导致对细粒度图像方面与观点的识别有限。为应对这些局限,本文提出一种称为 SeqCSG 的新方法,其利用序列跨模态语义图增强编码器-解码器情感分类框架。SeqCSG 利用图像描述与场景图提取全局与局部细粒度图像信息,并将其与推文词元一同作为跨模态语义图的元素。序列跨模态语义图表示为带多模态邻接矩阵的序列,指示元素间关系。实验结果表明该方法优于现有方法,并在两个标准数据集上取得最先进性能。进一步分析表明,模型能在给定目标下隐式学习图像与文本细粒度信息间的相关性。我们的代码见 https://github.com/zjukg/SeqCSG。
引用
@article{arxiv.2208.09417,
title = {Target-oriented Sentiment Classification with Sequential Cross-modal Semantic Graph},
author = {Yufeng Huang and Zhuo Chen and Jiaoyan Chen and Jeff Z. Pan and Zhen Yao and Wen Zhang},
journal= {arXiv preprint arXiv:2208.09417},
year = {2023}
}
备注
ICANN 2023, https://github.com/zjukg/SeqCSG