PanoSent：面向多模态对话式基于方面的情感分析的全景六元组提取基准
计算与语言
2024-09-10 v2 人工智能
摘要
尽管现有的基于方面的情感分析（ABSA）已获得广泛关注和进展，但在定义一个更全面的研究目标方面仍存在空白，该目标需无缝整合多模态性、对话上下文、细粒度，并涵盖变化的情感动态以及认知因果推理。本文通过引入多模态对话式ABSA来填补这些空白，提出了两个新子任务：1）全景情感六元组提取，全面识别多轮多党多模态对话中的持有者、目标、方面、观点、情感和推理；2）情感翻转分析，检测对话中随因果原因而发生的动态情感转换。为基准化这些任务，我们构建了PanoSent数据集，该数据集兼具人工和自动标注，具有高质量、大规模、多模态、多语言、多场景的特点，并涵盖显性和隐性情感元素。为有效处理这些任务，我们设计了一种新颖的情感链推理框架，以及一种新颖的多模态大语言模型（即Sentica）和一种基于改写的验证机制。大量评估证明了我们的方法优于强基线，验证了所有提出方法的有效性。该工作有望为ABSA社区开启新时代，因此我们的所有代码和数据均在https://PanoSent.github.io/上公开。
引用
@article{arxiv.2408.09481,
title = {PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis},
author = {Meng Luo and Hao Fei and Bobo Li and Shengqiong Wu and Qian Liu and Soujanya Poria and Erik Cambria and Mong-Li Lee and Wynne Hsu},
journal= {arXiv preprint arXiv:2408.09481},
year = {2024}
}
备注
Accepted by ACM MM 2024 (Oral)