探索大语言模型(LLM)在识别误导性新闻标题方面的潜力
计算与语言
2024-05-07 v1 计算机与社会
机器学习
摘要
在数字时代，误导性新闻标题的普遍存在对信息完整性构成了重大挑战，需要强大的检测机制。本研究探讨了大语言模型(LLM)在识别误导性与非误导性新闻标题方面的有效性。利用来自健康、科学与技术以及商业领域的可靠和可疑来源的60篇文章数据集，我们使用了三种LLM——ChatGPT-3.5、ChatGPT-4和Gemini——进行分类。我们的分析揭示了模型性能的显著差异，其中ChatGPT-4表现出更高的准确性，尤其是在标注者一致认为标题具有误导性的情况下。该研究强调了以人为本的评估在开发能够应对错误信息检测复杂性的LLM中的重要性，将技术能力与细致的人类判断相结合。我们的发现为人工智能伦理的讨论做出了贡献，强调模型不仅需要技术先进，还需要在伦理上保持一致并对人类解释的细微差别敏感。
引用
@article{arxiv.2405.03153,
title = {Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines},
author = {Md Main Uddin Rony and Md Mahfuzul Haque and Mohammad Ali and Ahmed Shatil Alam and Naeemul Hassan},
journal= {arXiv preprint arXiv:2405.03153},
year = {2024}
}
备注
5 pages, 2 tables, 1st HEAL Workshop at CHI Conference on Human Factors in Computing Systems, May 12, Honolulu, HI, USA 2024