面向高效不确定性量化的各向同性方法：基于梯度范数
机器学习
2026-04-01 v1 人工智能
计算与语言
摘要
现有神经网络预测不确定性量化方法要么在大型语言模型上计算不可行，要么需要获取通常难以获得的训练数据。我们通过两种近似推导出轻量级替代方案：一种一阶泰勒展开将不确定性表达为预测梯度与参数协方差之间的关系，另一种对参数协方差假设其各向同性。结合这两种方法，即可在未修改的预训练模型上完成一次前向-反向传播，得到 epistemic 不确定性作为梯度范数的平方，以及 aleatoric 不确定性作为点预测的伯努利方差。我们通过表明非训练数据构建的协方差估计会引入结构性失真，而各向同性协方差可避免此问题，以及大型网络谱性质的理论结果支持该在大规模模型中的近似。在合成问题上与参考马尔可夫链蒙特卡洛估计的对比表明，随着模型规模增大，对应性显著提升。随后我们利用这些估计来探讨每种不确定性类型在大型语言模型中用于预测答案正确性时是否携带有用信号，揭示在TruthfulQA上实现最高平均AUROC（因问题涉及在合理答案之间真正冲突），而在TriviaQA的事实记忆任务中接近随机水平，这表明参数层面的不确定性捕获的信号本质上与自评估方法存在差异。
引用
@article{arxiv.2603.29466,
title = {An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms},
author = {Nils Grünefeld and Jes Frellsen and Christian Hardmeier},
journal= {arXiv preprint arXiv:2603.29466},
year = {2026}
}