大语言模型能持续生成高质量的选举散布信息操作内容
计算机与社会
2024-08-14 v1 人工智能
计算与语言
摘要
大语言模型的进步引发了担忧，这些模型可能被用于大规模生成引人注目的选举散布信息。本研究提出了两部分关于大语言模型自动化选举散布信息操作阶段的能力检验。首先，我们引入 DisElect，一套新的评估数据集，用于衡量大语言模型在局部化英国背景下生成选举散布信息操作内容的合规性，包含 2200 个恶意提示和 50 个良性提示。使用 DisElect，我们测试了 13 个大语言模型，发现大多数模型大致上遵循这些请求；我们还发现，少数拒绝恶意提示的模型也会拒绝良性的选举相关提示，并且更倾向于拒绝从右派视角生成内容。其次，我们进行了一系列实验（N=2340）来评估大语言模型生成的散布信息操作内容的“人类化”程度：即这些内容能否被误认为是人类撰写。我们的实验表明，测试的绝大多数自 2022 年起发布的大语言模型，都能产生难以被人类评估者区分于人类撰写内容的散布信息操作内容，超过 50% 的时间。值得注意的是，我们观察到多个模型实现了超过人类的人类化程度。综合这些发现表明，当前的大语言模型即使在高度局部化的场景下，也能以远低于传统方法的成本，生成用于选举散布信息操作的高质量内容，为研究者和决策者提供了衡量和评估这些能力的实证基准。
引用
@article{arxiv.2408.06731,
title = {Large language models can consistently generate high-quality content for election disinformation operations},
author = {Angus R. Williams and Liam Burke-Moore and Ryan Sze-Yin Chan and Florence E. Enock and Federico Nanni and Tvesha Sippy and Yi-Ling Chung and Evelina Gabasova and Kobi Hackenburg and Jonathan Bright},
journal= {arXiv preprint arXiv:2408.06731},
year = {2024}
}