一个由 AI 驱动的恶意社交僵尸网络剖析

大语言模型（LLMs）在跨多种主题生成逼真文本方面展现出令人印象深刻的能力。人们担忧它们可能被用于以欺骗意图制造虚假内容，尽管迄今为止的证据仍是传闻性的。本文呈现了一个关于 Twitter 僵尸网络的案例研究，该网络似乎利用 ChatGPT 生成类人内容。通过启发式方法，我们识别出 1,140 个账户，并通过人工标注加以验证。这些账户构成了一个密集的虚假角色集群，表现出相似行为，包括发布机器生成内容与盗用图像，并通过回复和转推彼此互动。ChatGPT 生成的内容推广可疑网站并传播有害评论。虽然该 AI 僵尸网络中的账户可通过其协同模式被检测出来，但当前最先进的 LLM 内容分类器在真实环境中无法区分它们与人类账户。这些发现凸显了 AI 赋能的社交机器人所带来的威胁。