基于 LLM 生成理据的增强多模态方面级情感分析
计算与语言
2025-05-27 v2 人工智能
摘要
近年来，多模态方面级情感分析(MABSA)受到了越来越多的关注。现有方法主要依赖预训练小语言模型(SLM)从图像和文本中收集与方面和情感相关的信息，旨在对齐这两种模态。然而，小 SLM 容量和知识有限，常常导致对文本和视觉数据中的含义、方面、情感及其相互关系的识别不准确。另一方面，大语言模型(LLM)通过有效探索多模态数据中的细粒度信息，在各种任务中展现出了卓越的能力。然而，一些研究表明，在 ABSA 领域，LLM 与微调后的小模型相比仍有不足。基于这些发现，我们提出了一个名为 LRSA 的新框架，该框架将 SLM 的决策能力与 LLM 为 MABSA 提供的附加信息相结合。具体而言，我们将 LLM 生成的解释作为理据注入 SLM，并采用双重交叉注意力机制来增强特征交互与融合，从而提升 SLM 识别方面与情感的能力。我们使用两个基线模型评估了我们的方法，大量实验突显了我们的方法在三个广泛使用的基准上的优越性，表明其对大多数用于 MABSA 的预训练模型具有泛化性和适用性。
引用
@article{arxiv.2505.14499,
title = {Enhanced Multimodal Aspect-Based Sentiment Analysis by LLM-Generated Rationales},
author = {Jun Cao and Jiyi Li and Ziwei Yang and Renjie Zhou},
journal= {arXiv preprint arXiv:2505.14499},
year = {2025}
}
备注
15 pages, 2 figures, 6 tables. Accepted by ICONIP2024