通过混合情感调查分析大语言模型中情感文化表征
计算与语言
2024-08-06 v1 人工智能
摘要
大型语言模型（LLMs）已在全球范围内广泛采用，展现出跨多语言的先进语言能力。学术界日益关注利用这些模型模拟和研究人类行为。然而，需要致敬的是，LLM 在特定语言上的熟练程度并不完全包含其文化相关的规范与价值观。由于西方和美国训练数据的主导，引发关于 LLMs 偏向 Anglo 中心文化和价值观的担忧。本研究聚焦于分析大语言模型中情感的文化表征，具体针对混合情感情境。我们的 methodology 基于米山博士等人（2010）的研究，识别了日本和美国人类响应中具有区别性的情感指示符。我们首先将其混合情感调查施加于五个不同的 LLMs 并分析其输出。其次，我们实验于情境变量，以探讨在语言与说话者来源两方面对响应差异的影响。第三，我们将调查扩展至额外的东亚与西欧来源语言，以衡量其与各自文化的契合度，预期更贴合。我们发现：（1）模型与文献证据的对齐有限；（2）书面语言对 LLM 响应的影响大于说话者来源信息；（3）LLM 响应在东亚语言之间更相似，而在西欧语言之间较不相似。
引用
@article{arxiv.2408.02143,
title = {Analyzing Cultural Representations of Emotions in LLMs through Mixed Emotion Survey},
author = {Shiran Dudy and Ibrahim Said Ahmad and Ryoko Kitajima and Agata Lapedriza},
journal= {arXiv preprint arXiv:2408.02143},
year = {2024}
}
备注
Was accepted to ACII 2024