面向宣传检测的大语言模型
计算与语言
2023-11-28 v2 人工智能
摘要
宣传在我们的数字社会中的盛行对社会和谐与真相传播构成挑战。通过 NLP 在文本中检测宣传因微妙的操作手法与上下文依赖而困难。为解决此问题，我们研究了现代大语言模型（LLM），如 GPT-3 和 GPT-4，在宣传检测中的有效性。我们使用 SemEval-2020 task 11 数据集进行实验，该数据集以 14 种宣传手法标注新闻文章，作为多标签分类问题。采用了五种 GPT-3 和 GPT-4 变体，在不同模型中结合多种提示工程与微调策略。我们通过评估 分数、 和 等指标来评价模型性能，并将结果与使用 RoBERTa 的当前最优方法比较。我们的发现表明 GPT-4 取得了与当前最优方法相当的结果。此外，本研究分析了 LLM 在宣传检测等复杂任务中的潜力与挑战。
引用
@article{arxiv.2310.06422,
title = {Large Language Models for Propaganda Detection},
author = {Kilian Sprenkamp and Daniel Gordon Jones and Liudmila Zavolokina},
journal= {arXiv preprint arXiv:2310.06422},
year = {2023}
}