面向前沿大语言模型的政治说服风险基准测试
计算与语言
2026-03-11 v1 计算机与社会
摘要
大语言模型（LLMs）说服政治观点的能力仍存疑虑。尽管 prior 研究声称 LLMs 不如常规政治竞选实践更具说服力，但近期前沿模型的崛起仍需进一步研究。在两项覆盖两党议题与立场的调查实验（N=19,145）中，我们评估了来自Anthropic、OpenAI、Google 和 xAI 的七款最先进 LLMs。我们发现 LLMs 在说服力上超过常规竞选广告，且不同模型间表现存在异质性。具体而言，Claude 模型显示最高的说服力，而 Grok 显示最低。结果在不同议题和立场下均为稳健。此外，与 Hackenburg 等人（2025b）和 Lin 等人（2025）关于信息型提示提升说服力的发现相反，我们发现信息型提示的效果取决于具体模型：它们既提升了 Claude 和 Grok 的说服力，也显著降低了 GPT 的说服力。我们引入一种数据驱动且策略中性的 LLM 辅助对话分析方法，用于识别和评估潜在的说服策略。我们的工作基准测试了前沿模型的说服风险，并提供了跨模型比较风险评估的框架。
引用
@article{arxiv.2603.09884,
title = {Benchmarking Political Persuasion Risks Across Frontier Large Language Models},
author = {Zhongren Chen and Joshua Kalla and Quan Le},
journal= {arXiv preprint arXiv:2603.09884},
year = {2026}
}