基于评价理论探究大语言模型的情绪感知
计算与语言
2023-10-10 v1 人工智能
摘要
诸如ChatGPT之类的大语言模型（LLM）近年来取得显著进展，现已被公众广泛使用。随着更多人将这些系统用于交互，增进我们对这些黑盒模型的理解至关重要，尤其在它们对人类心理层面的理解方面。本工作中，我们借助压力与应对过程问卷（SCPQ），通过评价与应对理论的视角考察其情绪感知。SCPQ是一种经过验证的临床工具，由随时间演进且在可控性、可变性等关键评价变量上有所差异的多个故事组成。我们将SCPQ应用于OpenAI的三个近期LLM：davinci-003、ChatGPT与GPT-4，并将结果与评价理论及人类数据的预测进行比较。结果显示，LLM的回应就评价与应对的动态而言与人类相似，但其回应并未如理论与数据所预测的那样沿关键评价维度表现出差异。其回应的幅度在若干变量上也与人类相当不同。我们还发现GPTs对指令及提问方式相当敏感。本工作增添了评估LLM心理层面的文献，并有助于丰富我们对当前模型的理解。
引用
@article{arxiv.2310.04450,
title = {Investigating Large Language Models' Perception of Emotion Using Appraisal Theory},
author = {Nutchanon Yongsatianchot and Parisa Ghanad Torshizi and Stacy Marsella},
journal= {arXiv preprint arXiv:2310.04450},
year = {2023}
}