中文

通过LLMs中的民族身份指定人格探索国家认知的变化

计算与语言 2024-10-17 v2 机器学习

摘要

人格分配(Persona assignment)已成为定制LLM用途以适应特定任务和情境的常见策略。本研究探讨了当LLM被分配特定民族身份人格后,对不同国家的评估如何变化。我们将193种不同的民族身份人格(例如美国人)分配给四个LLM,并检查这些LLM对国家的评估(即“认知”)如何变化。我们发现,所有LLM-人格组合倾向于偏好西方欧洲国家,但民族-人格会促使LLM行为更关注并更有利地对待该民族-人格所属的地区。东欧、拉美和非洲国家则被不同的民族身份人格所负面评价。我们还发现,带有民族身份人格的LLM对其他国家的评估与人类调查响应相关,但未能准确匹配人类价值观。我们的研究提供了关于LLM在采用不同民族人格时如何实现偏见和刻板印象的见解。基于“AI权利宣言”(Blueprint for an AI Bill of Rights)的观察,我们的发现凸显了开发确保LLM输出公平且避免过度概括的关键需求。

关键词

引用

@article{arxiv.2406.13993,
  title  = {Exploring Changes in Nation Perception with Nationality-Assigned Personas in LLMs},
  author = {Mahammed Kamruzzaman and Gene Louis Kim},
  journal= {arXiv preprint arXiv:2406.13993},
  year   = {2024}
}

备注

Pre-print, Under review