大型语言模型是否具备对情感的敏感性？
计算与语言
2025-02-17 v4 人工智能
摘要
大型语言模型 (LLM) 最近在语言理解方面展现出非凡的能力。然而，如何全面评估 LLM 的情感能力仍然是一个挑战。本文调查了 LLM 检测和应对文本中情感的能力。随着 LLM 集成到越来越多的应用中，理解它们对情感语气的敏感性变得至关重要，因为这会影响用户体验和情感驱动任务的效果。我们进行一系列实验来评估几个突出 LLM 在识别和对待情感（如积极、消极和中性情感）作出恰当反应的性能。对模型输出的分析涵盖 various sentiment benchmarks，并与人类评估进行比较。我们的发现表明，尽管 LLM 显示出对情感的基本敏感性，但其准确性和一致性存在显著差异，强调需要进一步完善其训练过程以更好地捕捉细微的情感线索的要求。以我们的发现中的一个例子来说，在某些情况下，模型可能会将强烈的积极情感错误地分类为中性，或未能识别文本中的讽刺或反讽。此类误分类凸显了情感分析的复杂性以及模型需要完善的领域。另一个方面是，不同的 LLM 可能因其架构和训练数据集的不同而在相同的数据集上表现不同。这种差异呼吁对导致性能差异的因素进行更深入的研究，以及如何对其进行优化。
引用
@article{arxiv.2409.02370,
title = {Do Large Language Models Possess Sensitive to Sentiment?},
author = {Yang Liu and Xichou Zhu and Zhou Shen and Yi Liu and Min Li and Yujun Chen and Benzi John and Zhenzhen Ma and Tao Hu and Zhi Li and Zhiyang Xu and Wei Luo and Junhui Wang},
journal= {arXiv preprint arXiv:2409.02370},
year = {2025}
}
备注
10 pages, 2 figures