基于知识蒸馏的大语言模型高效表征不确定性
机器学习
2026-02-03 v1 人工智能
摘要
量化大语言模型（LLM）中的不确定性对于缓解幻觉现象并实现安全关键任务中的风险感知部署至关重要。然而，由于计算资源限制，无法在现代大型模型规模下通过深度集成 Ensemble 方法来估计表征不确定性（EU）。我们提出了一种框架，利用小型草稿模型来高效地估计 token 级别的 EU，从而无需进行完整规模的集成。该方法在偏差-方差分解理论基础上，通过草稿模型之间的 Jensen-Shannon 发散（方差代理）和草稿混合分布与目标分布之间的 KL 发散（偏差代理）来近似估计 EU。为进一步在不显著增加计算开销的前提下确保估计精度，我们引入了在线随机蒸馏（OSD）来高效近似目标聚合，并提出数据多样性草稿（DDD）策略以增强草稿模型的多样性，从而提高目标近似效果。在GSM8K 数据集上的大量实验表明，我们的方法将估计误差（RMSE）降低了最高可达 37%。关键在于，我们的方法在推理成本几乎可忽略的情况下，实现了与基于大量扰动方法（如 TokUR）相当的幻觉检测性能，为不确定性感知的大语言模型部署提供了实用解决方案。
引用
@article{arxiv.2602.01956,
title = {Efficient Epistemic Uncertainty Estimation for Large Language Models via Knowledge Distillation},
author = {Seonghyeon Park and Jewon Yeom and Jaewon Sok and Jeongjae Park and Heejun Kim and Taesup Kim},
journal= {arXiv preprint arXiv:2602.01956},
year = {2026}
}