面向数据不确定性的多模态方面情感分析学习
计算与语言
2024-12-03 v1
摘要
作为一种细粒度任务，多模态方面情感分析（MABSA）主要关注识别文本-图像对中方面的情感信息。然而，我们注意到，在低质量样本（例如分辨率低且倾向于包含噪声的图像）中识别方面情感仍然具有挑战性。在现实世界中，数据质量因不同样本而异，这种噪声被称为数据不确定性。但以往为MABSA任务的工作 treating different quality samples with the same importance and ignored the influence of data uncertainty。本文提出了一种新颖的数据不确定性感知多模态方面情感分析方法UA-MABSA，通过数据质量和难度对不同样本的损失进行加权。UA-MABSA采用新颖的质量评估策略，考虑图像质量和方面级跨模态相关性，从而使模型能够更关注高质量且具有挑战性的样本。大量实验表明，我们的方法在Twitter-2015数据集上实现了最先进（SOTA）性能。进一步分析证明了质量评估策略的有效性。
引用
@article{arxiv.2412.01249,
title = {Data Uncertainty-Aware Learning for Multimodal Aspect-based Sentiment Analysis},
author = {Hao Yang and Zhenyu Zhang and Yanyan Zhao and Bing Qin},
journal= {arXiv preprint arXiv:2412.01249},
year = {2024}
}