利用大语言模型评估阴谋论的影响
计算与语言
2024-12-11 v1 计算机与社会
摘要
衡量阴谋论（CTs）的相对影响对于在危机期间优先响应和有效分配资源至关重要。然而，评估阴谋论对公众的实际影响面临独特的挑战。这不仅需要收集阴谋论特有的知识，还需要来自社会、心理和文化维度的多样化信息。近期大语言模型（LLMs）的发展表明其在此背景下的潜在效用，这不仅归功于其来自大规模训练语料的广泛知识，还因为它们可用于复杂推理。在本工作中，我们开发了具有人工标注影响的热门阴谋论数据集。借鉴人类影响评估过程的见解，我们设计了有针对性的策略，利用LLM执行类人的阴谋论影响评估。通过严格的实验，我们发现使用多步推理分析更多阴谋论相关证据的影响评估模式能够产生准确的结果；大多数LLM表现出强烈的偏差，例如为提示中较早出现的阴谋论分配更高的影响，而对情感色彩强烈和冗长的阴谋论生成较不准确的影响评估。
引用
@article{arxiv.2412.07019,
title = {Assessing the Impact of Conspiracy Theories Using Large Language Models},
author = {Bohan Jiang and Dawei Li and Zhen Tan and Xinyi Zhou and Ashwin Rao and Kristina Lerman and H. Russell Bernard and Huan Liu},
journal= {arXiv preprint arXiv:2412.07019},
year = {2024}
}