流畅却不体贴：语言模型的情感盲区
计算与语言
2025-09-12 v1 人工智能
摘要
大型语言模型（LLMs）在自然语言理解方面的多样性使其在精神健康研究中日益受到青睐。虽然许多研究探索了 LLMs 在情感识别方面的能力，但仍存在一个关键缺口：即评估 LLMs 是否在细粒度水平上与人类情感保持一致。现有研究通常侧重于将情感分类为预定义的有限类别，忽略了更为细腻的表达。为弥合这一差距，我们引入了 EXPRESS，一个来自 Reddit 社区的基准数据集，包含 251 个细粒度的、自我披露的情感标签。我们的全面评估框架检查预测情感术语并将其分解为八种基本情感，以采用既定情感理论，实现细粒度比较。对流行 LLMs 在 various prompt settings 下进行系统测试，发现准确预测与人类自我披露情感一致的情感仍然具有挑战性。定性分析进一步表明，虽然某些 LLMs 生成的情感术语与既定情感理论和定义相符，但有时在捕捉情境线索方面不如人类自我披露有效。这些发现凸显了 LLMs 在细粒度情感对齐方面的局限性，并为未来旨在增强其情境理解能力的研究提供了见解。
引用
@article{arxiv.2509.09593,
title = {Fluent but Unfeeling: The Emotional Blind Spots of Language Models},
author = {Bangzhao Shu and Isha Joshi and Melissa Karnaze and Anh C. Pham and Ishita Kakkar and Sindhu Kothe and Arpine Hovasapian and Mai ElSherief},
journal= {arXiv preprint arXiv:2509.09593},
year = {2025}
}
备注
Camera-ready version for ICWSM 2026. First two authors contributed equally