ChatGPT 是好的情感分析器吗？一项初步研究
计算与语言
2024-02-20 v2 人工智能
摘要
近来，ChatGPT 引起了研究界与公众的极大关注。我们尤其感兴趣于它能否作为通用的情感分析器。为此，本工作中我们对 ChatGPT 在理解文本中所包含的观点、情感与情绪方面的能力提供初步评估。具体地，我们在三种设定下评估它，包括标准评估、极性偏移评估与开放域评估。我们在涵盖 17 个基准数据集的 7 个代表性情感分析任务上进行评估，并将 ChatGPT 与微调的 BERT 及相应的前沿（SOTA）模型比较。我们也尝试若干流行的提示技术以进一步激发其能力。此外，我们进行人工评估并给出若干定性案例研究，以深入理解其情感分析能力。
引用
@article{arxiv.2304.04339,
title = {Is ChatGPT a Good Sentiment Analyzer? A Preliminary Study},
author = {Zengzhi Wang and Qiming Xie and Yi Feng and Zixiang Ding and Zinong Yang and Rui Xia},
journal= {arXiv preprint arXiv:2304.04339},
year = {2024}
}
备注
Technical Report; 21 pages, add more evaluation results (e.g., comparative opinion mining, cot, and self-consistency)