量化大语言模型模拟中的人物角色效应

大语言模型 (LLM) 在模拟人类语言和行为方面展现出巨大的潜力。本研究调查了整合人物角色变量（人口统计、社会和行为因素）如何影响大语言模型模拟多样化观点的能力。我们发现，在现有的主观自然语言处理数据集中，人物角色变量仅解释了注释中不到 10% 的方差。尽管如此，通过提示在大语言模型中整合人物角色变量可提供适度但具有统计显著性的改进。人物角色提示在多个注释者存在分歧但分歧相对较小的样本中最为有效。值得注意的是，我们在该设定中发现了一种线性关系：人物角色变量与人类注释之间的相关性越强，使用人物角色提示的大语言模型预测就越准确。在零样本设定下，带有角色提示的强大 70b 模型捕捉到了由基于真实注释训练的线性回归所能实现的注释方差的 81%。然而，对于大多数人物角色变量解释力有限的主观自然语言处理数据集，人物角色提示的益处是有限的。