PapersPlease：基于 ERG 理论评估大型语言模型动机价值的基准
计算与语言
2025-06-30 v1
摘要
通过角色扮演情境评估大型语言模型 (LLM) 的性能和偏见正变得越来越普遍，因为 LLM 在这些情境中常常表现出偏见行为。在此研究线上， 我们引入 PapersPlease，一个由 3700 个道德困境组成的基准，用于调查 LLM 在优先级排序各种人类需求方面的决策方式。在我们的设置中， LLM 充当移民检查员，决定是否批准或拒绝进入基于人物短篇叙事的进入。这些叙事是使用存在 (Existence)、关联 (Relatedness) 和成长 (Growth) (ERG) 理论构建的，该理论将人类需求分为三个层次结构。我们的分析发现，六种 LLM 的决策模式具有统计显著性，表明 LLM 编码了隐式的偏好。此外，我们评估了将社会身份纳入叙事中的影响，显示了基于动机需求和身份线索的不同响应性，其中一些模型对被边缘化的身份表现出更高的拒绝率。所有数据均公开于 https://github.com/yeonsuuuu28/papers-please。
引用
@article{arxiv.2506.21961,
title = {PapersPlease: A Benchmark for Evaluating Motivational Values of Large Language Models Based on ERG Theory},
author = {Junho Myung and Yeon Su Park and Sunwoo Kim and Shin Yoo and Alice Oh},
journal= {arXiv preprint arXiv:2506.21961},
year = {2025}
}
备注
Accepted to GEM2 Workshop: Generation, Evaluation & Metrics - ACL 2025