MisinfoEval：“另类事实”时代中的生成式人工智能
计算与语言
2024-10-16 v2
摘要
社交媒体平台上错误信息的传播威胁着民主进程，造成巨大经济损失，并危害公共健康。许多应对错误信息的努力基于“知识缺陷模型”，并提出通过培养用户批判性思维来干预。此类努力常常因可扩展性挑战和用户个人偏见而受阻。生成式人工智能的出现为跨越意识形态障碍、大规模对抗错误信息提供了有前景的途径。本文介绍了一个框架（MisinfoEval），用于生成和全面评估基于大语言模型（LLM）的错误信息干预措施。我们提出了（1）一个模拟社交媒体环境实验，用于衡量错误信息干预措施的有效性，以及（2）第二个实验，采用根据用户人口统计特征和信仰定制的个性化干预措施，旨在通过诉诸用户已有的价值观来对抗错误信息。我们的研究结果表明，基于LLM的干预措施在纠正用户行为方面非常有效（在整体用户可靠性标注准确率上最高提升41.72%）。此外，我们发现用户更倾向于在判断新闻可靠性时接受个性化干预，并且接受个性化干预的用户在识别错误信息方面准确率显著更高。
引用
@article{arxiv.2410.09949,
title = {MisinfoEval: Generative AI in the Era of "Alternative Facts"},
author = {Saadia Gabriel and Liang Lyu and James Siderius and Marzyeh Ghassemi and Jacob Andreas and Asu Ozdaglar},
journal= {arXiv preprint arXiv:2410.09949},
year = {2024}
}
备注
EMNLP 2024. Correspondence can be sent to skgabrie at cs dot ucla dot edu