DeliberationBench：面向大语言模型影响评估的规范性基准

随着大语言模型（LLM）日益普及作为助理和思考伙伴，关键在于刻画其对用户信念的说服性影响。一个核心挑战在于以规范性且合法性的方式区分"有益"与"有害"的影响。我们提出DeliberationBench，一个以 deliberative opinion polling（ deliberative 民意调查）为标准的LLM影响评估基准。我们在一项预先登记的随机实验中展示了方法：4088名美国受试者与六个前沿LLM就65个政策提案进行讨论。我们利用来自 Deliberative Democracy Lab 过去四次 deliberative poll 的意见变化数据，发现所测试LLM的影响在规模上显著，且与讨论后的净意见偏移呈正相关，表明这些模型产生的影响广泛属于认知上有益的效果。我们进一步探讨了不同主题领域、人口统计亚群和不同模型之间的差异。我们的框架可作为评估和监控工具，帮助确保LLM的影响符合民主合法性标准，同时保留用户在形成信念时的自主性。