大型语言模型在检测宣传信息方面的能力如何
计算与语言
2025-05-21 v1 人工智能
摘要
宣传者会使用依赖逻辑谬误和情感诉求的修辞手段来推动自己的议程。识别这些技术对于做出明智的决策至关重要。近期自然语言处理 (NLP) 的进展已使开发能够检测操纵性内容的系统成为可能。本研究考察了几种大型语言模型在检测新闻文章中宣传技术方面的表现。我们比较了这些大型语言模型与基于转换器的模型的性能。我们发现，尽管 GPT-4 在 F1 分数上 (F1=0.16) 优于 GPT-3.5 和 Claude 3 Opus，但并不优于 RoBERTa-CRF 基线 (F1=0.67)。此外，我们发现所有三个大型语言模型在检测一种六种宣传技术中的一个 (名称贬低) 时，均优于 MultiGranularity Network (MGN) 基线，其中 GPT-3.5 和 GPT-4 也在检测恐惧诉求和旗帜波动时优于 MGN 基线。
关键词
引用
@article{arxiv.2505.13706,
title = {Are Large Language Models Good at Detecting Propaganda?},
author = {Julia Jose and Rachel Greenstadt},
journal= {arXiv preprint arXiv:2505.13706},
year = {2025}
}