人格化大语言模型在战略推理游戏中的表现研究

尽管人格提示在大语言模型中似乎会触发不同的生成文本风格，但是否会导致可衡量的行为差异，甚至是否会影响对抗性战略环境中决策，尚不明了。我们研究了人格提示对 PERIL 这一世界征服棋盘游戏中战略表现的影响。具体而言，我们比较了人格派生的启发式策略与手动选择的策略的有效性。我们的发现表明， Certain 与战略思维相关的人格能够提升游戏表现，但仅当使用一种称为中介的转换器将人格转化为启发式值时才会实现。我们将这种中介引入为一种结构化的翻译过程，灵感来自探索性因子分析，将 LLM 生成的 inventory 响应映射到启发式值。结果表明，我们的方法在启发式可靠性和面向有效性方面优于直接推断得到的启发式，使我们能够更好地研究人格类型对决策的影响。这些见解推进了我们对人格提示如何影响 LLM 基于决策的理解，并提出了一种将心理测量原理应用于 LLM 的启发式生成方法。