评估大语言模型对情绪的主观认知评价
计算与语言
2023-10-24 v1
摘要
我们所经历的情绪涉及复杂的过程；除生理方面外，心理学研究已探讨认知评价，即人们根据自身价值观主观地评估其处境（Scherer, 2005）。因此，同一处境常导致不同的情绪体验。虽然情绪检测是一项成熟任务，但关于认知评价自动预测的工作迄今非常有限。本工作通过提出 CovidET-Appraisals 填补了这一空白，这是迄今为止最全面的评估24个评价维度（每个维度附带自然语言理据）跨越241篇 Reddit 帖子的数据集。CovidET-Appraisals 提供了一个理想的测试平台，用于评估在广泛 NLP 任务中表现出色的大语言模型自动评估和解释认知评价的能力。我们发现，虽然最佳模型性能良好，开源 LLM 在此任务上表现不足，这为未来情感智能模型的发展提出了新挑战。我们在 https://github.com/honglizhan/CovidET-Appraisals-Public 发布了数据集。
引用
@article{arxiv.2310.14389,
title = {Evaluating Subjective Cognitive Appraisals of Emotions from Large Language Models},
author = {Hongli Zhan and Desmond C. Ong and Junyi Jessy Li},
journal= {arXiv preprint arXiv:2310.14389},
year = {2023}
}
备注
EMNLP 2023 (Findings) Camera-Ready Version