SOUL：面向语言情感与观点理解的任务
计算与语言
2023-10-30 v1
摘要
情感分析是一项成熟的自然语言处理任务，其中情感极性分类是其最流行和最具代表性的任务之一。然而，尽管预训练语言模型在该领域取得了成功，它们往往难以捕捉情感分析更广泛的复杂性。为解决此问题，我们提出一项称为语言情感与观点理解(SOUL)的新任务。SOUL 旨在通过两个子任务评估情感理解：评论理解(RC)与理由生成(JG)。RC 旨在基于评论文本验证聚焦于主观信息的陈述，而 JG 要求模型为其情感预测提供解释。为实现全面评估，我们标注了一个新数据集，包含来自 3,638 篇评论的 15,028 条陈述。实验结果表明，SOUL 对于小语言模型和大语言模型(LLM)均是一项具有挑战性的任务，与人工表现相比性能差距高达 27%。此外，由人类专家与 GPT-4 进行的评估凸显了小语言模型在生成基于推理的理由方面的局限性。这些发现强调了 SOUL 任务对现有模型的挑战性，强调需要进一步推进情感分析以应对其复杂性。新数据集与代码可在 https://github.com/DAMO-NLP-SG/SOUL 获取。
引用
@article{arxiv.2310.17924,
title = {SOUL: Towards Sentiment and Opinion Understanding of Language},
author = {Yue Deng and Wenxuan Zhang and Sinno Jialin Pan and Lidong Bing},
journal= {arXiv preprint arXiv:2310.17924},
year = {2023}
}
备注
EMNLP 2023 Main Conference, Short Paper