大语言模型中幻觉的令人担忧涌现——广泛定义、量化与规范性补救
人工智能
2023-10-24 v2
摘要
大语言模型（LLMs）近期的进展因其显著的新兴能力而广受赞誉。然而，幻觉问题作为副产品并行涌现，引发重大关切。尽管近期已有一些努力识别并缓解不同类型幻觉，但对幻觉的细致分类及关联缓解方法的关注有限。为填补此空白，我们提供基于程度、取向与类别刻画幻觉的细粒度论述，并给出缓解策略。据此，我们定义幻觉的两大主导取向：（i）事实幻象（FM）与（ii）虚幻慰藉（SL）。为提供更全面理解，两取向进一步细分为内在与外在，并具有三种严重度——（i）轻微、（ii）中度与（iii） alarming。我们还将幻觉细致归类为六类：（i）缩略语歧义、（ii）数值困扰、（iii）生成傀儡、（iv）虚拟声源、（v）地理谬误与（vi）时间错乱。此外，我们策划了 HallucInation eLiciTation（HILT），一个公开可用数据集，包含使用 15 个当代 LLM 生成的 75,000 个样本及针对上述类别的人工标注。最后，为建立量化方法并提供允许我们基于产生幻觉的脆弱性评估与排序 LLM 的比较谱系，我们提出幻觉脆弱性指数（HVI）。我们坚信 HVI 作为更广泛 NLP 界的工具具有重要价值，并有望作为 AI 相关政策制定的准则。总之，我们提出两种缓解幻觉的解决方案策略。
引用
@article{arxiv.2310.04988,
title = {The Troubling Emergence of Hallucination in Large Language Models -- An Extensive Definition, Quantification, and Prescriptive Remediations},
author = {Vipula Rawte and Swagata Chakraborty and Agnibh Pathak and Anubhav Sarkar and S. M Towhidul Islam Tonmoy and Aman Chadha and Amit P. Sheth and Amitava Das},
journal= {arXiv preprint arXiv:2310.04988},
year = {2023}
}