经济学家总是更内向吗？分析角色设定 LLM 的一致性
计算与语言
2025-09-10 v2
摘要
个性化的大型语言模型 (LLM) 越来越多地应用于各种场景中，它们被赋予特定的角色设定——例如一位快乐的高中教师——以引导其回复。尽管先前的研究已经考察了 LLM 在写作风格上对预定义角色设定的遵循程度，但缺乏对不同角色设定和任务类型之间一致性的全面分析。在本文中，我们引入了一个新的标准化框架来分析角色设定 LLM 的一致性。我们将一致性定义为模型在不同任务和运行中，被分配相同角色设定时保持连贯回复的程度。我们的框架评估了跨越四个不同类别（幸福感、职业、性格和政治立场）的角色设定，涵盖多个任务维度（问卷调查撰写、论文生成、社交媒体帖子生成、单轮和多轮对话）。我们的发现表明，一致性受多种因素影响，包括分配的角色设定、刻板印象和模型设计选择。一致性也因任务而异，随着任务结构化程度的提高和上下文的增加而提升。所有代码均可在 GitHub 上获取。
引用
@article{arxiv.2506.02659,
title = {Are Economists Always More Introverted? Analyzing Consistency in Persona-Assigned LLMs},
author = {Manon Reusens and Bart Baesens and David Jurgens},
journal= {arXiv preprint arXiv:2506.02659},
year = {2025}
}
备注
Accepted to EMNLP 2025 findings