2024年美国大选期间大型语言模型的大规模纵向研究

2024年美国总统大选是自大型语言模型（LLM）流行以来，美国首次举行的重大选举。建设在社交媒体在精准信息传播和政治极化方面所起的作用，这一时刻提出了迫切的问题：LLM将如何塑造信息生态系统并影响政治话语。虽然平台已宣布一些选举安全措施，但实际运行效果尚不明了。在此背景下，我们对12个模型进行了大规模、纵向的研究，使用包含超过12,000个问题的结构化调查问卷，在7月至11月的几乎每日频率下进行查询。我们的设计系统性地变化内容和格式，形成一个丰富的数据集，使我们能够分析模型随时间（例如，跨模型更新）的行为、对引导的敏感性、对指令的响应性以及选举相关知识和“信念”。在本研究的后半部分，我们对数据集进行四项分析（i）研究选举季期间模型行为的纵向变化，（ii）描绘选举相关响应对人口统计学引导的敏感性，（iii）探讨模型对候选人属性的信念，以及（iv）揭示模型对选举结果的隐式预测。为促进未来对LLM在选举情境下的评估，我们详细阐述了我们的 methodology，从问题生成到查询管道和第三方工具。我们还在https://huggingface.co/datasets/sarahcen/llm-election-data-2024公开了数据集。