大语言模型揭示信息运作的目标、战术与叙事框架
计算与语言
2024-05-07 v1 机器学习
摘要
对抗性信息运作可能通过破坏公平选举、操纵政策舆论以及推广诈骗来破坏社会稳定。尽管这些信息运作广泛存在且潜在影响巨大，但我们对其了解仍受限于手动分析消息和主观解释其可观察行为。本文探讨了是否可以借助大语言模型（LLM）来缓解这些局限性，以 GPT-3.5 为案例研究，对已识别的信息运作进行协调标注。我们首先使用 GPT-3.5 审查了跨越十余年的 126 个已识别信息运作。我们利用多项指标量化 LLM 与真实描述之间的（尽管不完美）一致性。随后，我们从两个大型多语言数据集中提取协调活动，分别讨论 2022 年法国大选和 2023 年菲律宾-美洲军演。对于每一项协调活动，我们使用 GPT-3.5 分析与特定关切相关的帖子，提取目标、战术和叙事框架，既在关键事件（如选举日）之前，也在之后。尽管 GPT-3.5 有时会与主观解释不一致，但其总结和解释能力表明 LLM 有潜力从文本中提取更高阶指标，从而提供比以往方法更完整的信息活动图景。
引用
@article{arxiv.2405.03688,
title = {Large Language Models Reveal Information Operation Goals, Tactics, and Narrative Frames},
author = {Keith Burghardt and Kai Chen and Kristina Lerman},
journal= {arXiv preprint arXiv:2405.03688},
year = {2024}
}
备注
15 pages, 9 figures