要相信还是不要相信你的 LLM
机器学习
2024-07-18 v2 人工智能
计算与语言
摘要
我们探讨大语言模型（LLM）中的不确定性量化，以识别给定查询时响应不确定性是否较大的情形。我们同时考虑表征不确定性和 aleatoric 不确定性，其中前者源于对真实答案（如事实或语言）的了解不足，后者源于不可约的随机性（如多个可能的答案）。具体而言，我们推导出一种信息论指标，能够可靠地检测仅表征不确定性较大时的情况，这时模型的输出是不可靠的。该条件仅可基于通过特殊迭代提示获得的模型输出（基于前一次响应）来计算。例如，这种量化方法可以检测单答案和多答案响应中的幻觉（当表征不确定性较大时）。这与许多标准不确定性量化策略（如阈值化响应的对数似然）形成对比，后者在多答案情况下无法检测幻觉。我们进行了一系列实验，展示了该方法的优势。进一步地，我们的调查揭示了 LLM 为给定输出分配的概率可能会被迭代提示放大，这可能是独立的兴趣。
引用
@article{arxiv.2406.02543,
title = {To Believe or Not to Believe Your LLM},
author = {Yasin Abbasi Yadkori and Ilja Kuzborskij and András György and Csaba Szepesvári},
journal= {arXiv preprint arXiv:2406.02543},
year = {2024}
}