利用 LLM 预测的可信度信号进行弱监督真实性分类
计算与语言
2024-11-06 v3 人工智能
机器学习
摘要
可信度信号代表记者和事实核查人员通常用来评估在线内容真实性的一系列启发式方法。由于需要训练高精度的、特定于信号的提取器，且缺乏足够大的标注数据集，自动提取可信度信号面临重大挑战。本文提出 Pastel（Prompted weAk Supervision wiTh crEdibility signaLs，基于提示的弱监督利用可信度信号），一种弱监督方法，它利用大语言模型（LLMs）从网络内容中提取可信度信号，随后将其组合以预测内容真实性，而无需依赖人类监督。我们使用四个文章级错误信源检测数据集验证该方法，表明 Pastel 相比零样本真实性检测性能提升 38.3%，并达到有人类监督的最先进系统性能的 86.7%。此外，在训练与测试数据集来自不同领域的跨域设定下，Pastel 显著优于最先进监督模型 63%。我们进一步研究了可信度信号与真实性之间的关联，并进行了消融实验以展示各信号对模型性能的影响。我们的发现揭示，所提出的 19 个信号中有 12 个在所有数据集上与真实性表现出强关联，而部分信号展现出领域特定的优势。
引用
@article{arxiv.2309.07601,
title = {Weakly Supervised Veracity Classification with LLM-Predicted Credibility Signals},
author = {João A. Leite and Olesya Razuvayevskaya and Kalina Bontcheva and Carolina Scarton},
journal= {arXiv preprint arXiv:2309.07601},
year = {2024}
}