评估 GPT-3 在检测虚假政治陈述中的有效性：基于 LIAR 数据集的案例研究
计算与语言
2023-06-16 v1
摘要
政治虚假陈述的检测对于维护信息完整性和防止社会中错误信息的传播至关重要。历史上，最先进的机器学习模型采用多种方法来检测欺骗性陈述。这些方法包括使用元数据（W. Wang 等，2018）、n-grams 分析（Singh 等，2021）以及语言（Wu 等，2022）和文体（Islam 等，2020）特征。大语言模型（如 GPT-3（Brown 等，2020））的最新进展在广泛任务上取得了最先进的性能。在本研究中，我们在 LIAR 数据集（W. Wang 等，2018）上对 GPT-3 进行了实验，在不使用任何额外元特征或语言特征的情况下取得了比最先进模型更高的准确率。此外，我们使用精心设计的提示进行了零样本学习实验，并取得了接近最先进的性能。该方法的一个优势是模型为其决策提供了证据，这增加了模型决策过程的透明度，并为用户验证所提供证据的有效性提供了机会。
引用
@article{arxiv.2306.08190,
title = {Assessing the Effectiveness of GPT-3 in Detecting False Political Statements: A Case Study on the LIAR Dataset},
author = {Mars Gokturk Buchholz},
journal= {arXiv preprint arXiv:2306.08190},
year = {2023}
}
备注
7 pages, 1 figure