大语言模型不确定性估计综述：理论与实践
计算与语言
2024-10-22 v1
摘要
随着大语言模型（LLM）的不断发展，理解和量化其预测中的不确定性对于提升应用可信度至关重要。然而，现有与LLM不确定性估计相关的文献通常依赖于启发式方法，缺乏对方法的系统分类。在本综述中，我们澄清了不确定性和置信度的定义，强调了它们的区别及其对模型预测的影响。在此基础上，我们整合了包括贝叶斯推断、信息论和集成策略在内的理论视角，对源自启发式方法的各种不确定性估计方法进行了分类。此外，我们讨论了将这些方法应用于LLM时出现的挑战。我们还探索了将不确定性纳入各种应用的技术，包括分布外检测、数据标注和问题澄清。我们的综述从定义和理论角度提供了对不确定性估计的见解，有助于全面理解LLM中的这一关键方面。我们旨在激发为LLM在现实场景中开发更可靠、更有效的不确定性估计方法。
引用
@article{arxiv.2410.15326,
title = {A Survey of Uncertainty Estimation in LLMs: Theory Meets Practice},
author = {Hsiu-Yuan Huang and Yutong Yang and Zhaoxi Zhang and Sanwoo Lee and Yunfang Wu},
journal= {arXiv preprint arXiv:2410.15326},
year = {2024}
}
备注
9 pages