事实还是虚构？大语言模型能否成为政治真相的可靠标注者？
计算与语言
2024-11-11 v1 人工智能
摘要
政治错误信息对民主进程构成重大挑战，塑造公众舆论和对媒体的信任。人工事实核查方法面临可扩展性和标注者偏见的问题，而机器学习模型则需要大量、昂贵的数据集。本研究探讨了使用最先进的大语言模型（LLMs）作为可靠标注者来检测新闻文章中的政治真实性。利用开源LLMs，我们创建了一个政治多样化的数据集，并通过LLM生成的标注进行标记。这些标注由人类专家验证，并进一步由基于LLM的评审员评估，以评估标注的准确性和可靠性。我们的方法为传统事实核查提供了一种可扩展且稳健的替代方案，增强了透明度和公众对媒体的信任。
引用
@article{arxiv.2411.05775,
title = {Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths?},
author = {Veronica Chatrath and Marcelo Lotif and Shaina Raza},
journal= {arXiv preprint arXiv:2411.05775},
year = {2024}
}
备注
Accepted at Socially Responsible Language Modelling Research (SoLaR) Workshop at NeurIPS 2024