评估 AI 检测 YouTube 阴谋论的能力
计算与语言
2025-07-08 v2 计算机与社会
社会与信息网络
摘要
作为拥有庞大全球受众的领先在线平台，YouTube 广泛的覆盖面也使其容易承载有害内容，包括虚假信息和阴谋论。本研究探讨了使用开放权重大型语言模型（LLM），包括纯文本和多模态模型，来识别 YouTube 上分享的阴谋论视频。利用包含数千个视频的标注数据集，我们在零样本设置下评估了各种 LLM，并将其性能与微调的 RoBERTa 基线进行了比较。结果表明，基于文本的 LLM 实现了高召回率但精度较低，导致假阳性增加。多模态模型落后于纯文本模型，表明视觉数据整合带来的收益有限。为了评估现实世界的适用性，我们在未标注数据集上评估了最准确的模型，发现 RoBERTa 的性能接近具有更多参数的 LLM。我们的工作强调了当前基于 LLM 的在线有害内容检测方法的优势与局限性，指出了对更精确和稳健系统的需求。
引用
@article{arxiv.2505.23570,
title = {Evaluating AI capabilities in detecting conspiracy theories on YouTube},
author = {Leonardo La Rocca and Francesco Corso and Francesco Pierri},
journal= {arXiv preprint arXiv:2505.23570},
year = {2025}
}
备注
Submitted for review to OSNEM Special Issue of April 2025