大语言模型时代的情感分析：一次现实检验
计算与语言
2023-05-25 v1
摘要
情感分析（SA）是自然语言处理中一个长期的研究领域。它能够提供关于人类情感与观点的丰富洞察，因此受到了学术界与工业界的相当关注。随着 ChatGPT 等大语言模型（LLMs）的出现，其在 SA 问题上的应用具有巨大潜力。然而，现有 LLMs 在多大程度上可用于不同的情感分析任务仍不明确。本文旨在全面调研 LLMs 在执行各类情感分析任务中的能力，从常规情感分类到基于方面的情感分析以及主观文本的多面分析。我们在 26 个数据集上的 13 个任务中评估了性能，并将结果与在领域特定数据集上训练的小语言模型（SLMs）进行比较。我们的研究表明，尽管 LLMs 在较简单任务中表现令人满意，但在需要更深理解或结构化情感信息的更复杂任务中落后于 SLMs。然而，LLMs 在少样本学习设定下显著优于 SLMs，表明其在标注资源有限时的潜力。我们还指出了当前评估实践在评估 LLMs 的 SA 能力方面的局限性，并提出了一种新颖基准 \textsc{SentiEval}，以实现更全面和现实的评估。我们调研中的数据与代码可在 \url{https://github.com/DAMO-NLP-SG/LLM-Sentiment} 获取。
引用
@article{arxiv.2305.15005,
title = {Sentiment Analysis in the Era of Large Language Models: A Reality Check},
author = {Wenxuan Zhang and Yue Deng and Bing Liu and Sinno Jialin Pan and Lidong Bing},
journal= {arXiv preprint arXiv:2305.15005},
year = {2023}
}