估计生成式 AI 的幻觉率
机器学习
2025-10-16 v5 机器学习
摘要
本文提出一种方法，用于估计生成式 AI 在情境学习（ICL）中的幻觉率。在 ICL 中，条件生成模型（CGM）被提示以数据集和预测问题为条件，要求生成响应。ICL 的一种解释认为，CGM 计算未知贝叶斯模型的后验预测，从而隐式定义了可观测数据集与潜在机制之间的联合分布。该联合分布分解为两个组成部分：模型对机制的先验分布以及给定机制的模型数据似然。我们以此为依据，定义幻觉为生成的预测响应在给定机制下的模型似然较低的情形。我们发展了一种新方法，该方法仅需要从 CGM 生成预测问题和响应，并评估其响应对数概率，即可估计 CGM 将生成幻觉的概率。我们使用大型语言模型对合成回归和自然语言 ICL 任务进行经验评估。
引用
@article{arxiv.2406.07457,
title = {Estimating the Hallucination Rate of Generative AI},
author = {Andrew Jesson and Nicolas Beltran-Velez and Quentin Chu and Sweta Karlekar and Jannik Kossen and Yarin Gal and John P. Cunningham and David Blei},
journal= {arXiv preprint arXiv:2406.07457},
year = {2025}
}