迈向可靠的错误信息缓解：泛化、不确定性与 GPT-4
计算与语言
2023-11-01 v3 机器学习
摘要
错误信息构成了重大的社会挑战，而当前的方法尚未产生有效的解决方案。我们提议聚焦于泛化、不确定性以及如何利用近期的大语言模型，以在无法完美分类的情境中创建更实用的工具来评估信息真实性。我们首先证明 GPT-4 在多种设置和语言中优于先前的方法。接下来，我们探究泛化性，揭示 GPT-4 与 RoBERTa-large 在失败模式上存在差异。第三，我们提出处理不确定性的技术，能够检测不可能样本并显著改善结果。我们还讨论了其他语言模型、温度、提示、版本控制、可解释性和网络检索方面的成果，每一项都提供了实用见解和未来研究方向。最后，我们发布了 LIAR-New 数据集，其中包含新颖的成对英文和法文错误信息数据以及指示是否有充足上下文进行真实性评估的 Possibility 标签。总体而言，本研究为未来能够推动现实世界打击错误信息进展的工具奠定了基础。
引用
@article{arxiv.2305.14928,
title = {Towards Reliable Misinformation Mitigation: Generalization, Uncertainty, and GPT-4},
author = {Kellin Pelrine and Anne Imouza and Camille Thibault and Meilina Reksoprodjo and Caleb Gupta and Joel Christoph and Jean-François Godbout and Reihaneh Rabbany},
journal= {arXiv preprint arXiv:2305.14928},
year = {2023}
}