面向大语言模型时代的文本信用评估自动化调查
计算与语言
2025-10-14 v2
摘要
在社交媒体和生成式 AI 时代，自动评估在线内容信用性的能力变得越来越关键，这补充了传统的虚假信息检测方法。信用评估依赖于聚合多样化的信用信号——这些是小信息单元，如内容主观性、偏见或说服技术的存在——以最终信用标签/评分为最终信用性标签/评分。然而，当前的自动信用评估和信用信号检测研究仍高度碎片化，许多信用信号是单独研究的，缺乏整合。值得注意的是，缺乏能够同时检测和聚合多个信用信号的方法。这些挑战因缺乏综合且最新的概览而进一步恶化，这些概览将这些研究工作在一个共同框架下连接起来，并识别出共享趋势、挑战和开放问题。本文通过 presenting 对 175 篇研究论文的系统且全面的文献综述来弥补这一差距，聚焦于自然语言处理（NLP）领域的文本信用信号，而该领域因大语言模型（LLM）的进步正在快速转型。我们将 NLP 研究置于更广泛的多学科视野中，既考察自动信用评估方法，也考察九类信用信号的检测。我们对三个关键类别进行深入分析：1）事实性、主观性和偏见，2）说服技术和逻辑谬误，以及 3）值得核查和已核查的主张。在总结现有方法、数据集和工具的同时，我们概述了未来的研究方向和新兴机遇，特别关注生成式 AI 所提出的不断演变的挑战。
引用
@article{arxiv.2410.21360,
title = {A Survey on Automatic Credibility Assessment Using Textual Credibility Signals in the Era of Large Language Models},
author = {Ivan Srba and Olesya Razuvayevskaya and João A. Leite and Robert Moro and Ipek Baris Schlicht and Sara Tonelli and Francisco Moreno García and Santiago Barrio Lottmann and Denis Teyssou and Valentin Porcellini and Carolina Scarton and Kalina Bontcheva and Maria Bielikova},
journal= {arXiv preprint arXiv:2410.21360},
year = {2025}
}
备注
Accepted to ACM Transactions on Intelligent Systems and Technology (ACM TIST)