利用超大型语言模型进行谣言评估
计算与语言
2024-04-29 v1 社会与信息网络
摘要
基于会话提示工程的大型语言模型（LLM）实现了对输出生成的针对性控制，增强了多功能性、适应性及即时检索能力。另一方面，数字虚假信息已达到令人担忧的水平。社交媒体的匿名性、可用性和影响范围为谣言的传播提供了肥沃土壤。本研究提出利用依赖提示的 LLM 的进展来对抗虚假信息，方法是在其 Twitter 数据集上扩展 RumourEval 任务的研究工作。为此，我们采用两种基于提示的 LLM 变体（GPT-3.5-turbo 和 GPT-4）来扩展两项 RumourEval 子任务：（1）真实性预测和（2）立场分类。对于真实性预测，每个 GPT 变体实验了三种分类方案。每种方案均在零样本、单样本和少样本设置下进行测试。我们的最佳结果以显著优势超越了先前结果。对于立场分类，基于提示的方法表现出与先前结果相当的性能，但相较微调方法并无提升。谣言立场子任务也被扩展至原设置之外，以支持多类分类。两个子任务的所有生成预测均配备了置信度分数以确定其由 LLM 判定的可信度，并附带事后理由以用于可解释性与可诠释性目的。我们的首要目标是 AI 向善。
引用
@article{arxiv.2404.16859,
title = {Rumour Evaluation with Very Large Language Models},
author = {Dahlia Shehata and Robin Cohen and Charles Clarke},
journal= {arXiv preprint arXiv:2404.16859},
year = {2024}
}