利用大语言模型检测德语Telegram中超越关键词偏见的阴谋论

在线阴谋论的自动检测通常依赖于监督学习。然而，鉴于内容通常有害，创建相应的训练数据需要专业知识、时间和心理承受力。此外，可用的数据集主要是英文的，并且通常基于关键词，这在模型中引入了词元级别的偏见。我们的工作致力于检测德语Telegram消息中的阴谋论。我们比较了使用类BERT模型的监督微调方法与使用Llama2、GPT-3.5和GPT-4的基于提示的方法的性能，后者几乎不需要或完全不需要额外的训练数据。我们使用了一个在COVID-19大流行期间收集的、未使用关键词过滤器的约4000条消息的数据集。我们的研究结果表明，两种方法都可以被有效利用：对于监督微调，我们报告了正类的F1分数约为0.8，使我们的模型可与近期在基于关键词的英文语料库上训练的模型相媲美。我们证明了模型对领域内时间偏移的适应性，取得了约0.7的F1分数。在提示变体中，最佳模型是GPT-4，在零样本设置下并配备自定义阴谋论定义，其正类F1分数约为0.8。