通过人群采样表征人类与LLMs对话语气的相似性与分歧

对话语气——说话者交流的方式和态度——对于有效沟通至关重要。随着近年来大型语言模型（LLMs）的日益普及，有必要描述其对话语气与人类的差异。然而，现有的对话模态研究依赖于预先存在的分类法或文本语料库，这些方法存在实验者偏差，并且可能不能代表研究心理语言学领域的真实世界分布。受认知科学方法的启发，我们提出了一种迭代方法，同时引出对话语气和句子，参与者交替执行两个任务：（1）一个参与者识别给定句子的语气，（2）另一个参与者根据该语气生成一个句子。我们与人类参与者和GPT-4一起运行了100次迭代，然后获得了一个句子和常见对话语气的数据集。在另一个实验中，人类和GPT-4用所有语气注释了所有句子。利用来自1,339名人类参与者、33,370个人类判断和29,900次GPT-4查询的数据，我们展示了我们的方法如何用于创建人类和GPT-4中对话语气之间关系的可解释几何表示。这项工作展示了如何结合机器学习和认知科学的思想来应对人机交互中的挑战。