中文

不只是多少:将诱导不确定性分解为 per-class 贡献

机器学习 2026-02-27 v2 机器学习 应用统计 统计方法学

摘要

在安全关键分类中,失败成本往往是非对称的,但贝叶斯深度学习通过单个标量 (mutual information, MI) 对诱导不确定性进行概括,无法区分模型的无知是 benign 还是安全关键类。我们将 MI 分解为 per-class 向量 Ck(x)=σk2/(2μk)C_k(x)=\sigma_k^{2}/(2\mu_k),其中 μk=E[pk]\mu_k{=}\mathbb{E}[p_k]σk2=Var[pk]\sigma_k^2{=}\mathrm{Var}[p_k] across posterior samples。该分解源于熵的二阶 Taylor 展开;1/μk1/\mu_k 权重校正边界抑制,使 CkC_k 在稀有和常见类别之间可比。按构造 kCkMI∑_k C_k ≈ \mathrm{MI},并附带一个偏斜诊断标记近似退化的输入。在刻画 CkC_k 的公理化属性后,我们在三个任务上对其进行验证:(i) 糖尿病视网膜病变的选择性预测,其中关键类 CkC_k 在 MI 和方差基线上分别将选择风险降低 34.7% 和 56.2%;(ii) 临床和图像基准的分布外检测,其中 kCk∑_k C_k 实现最高的 AUROC,并呈现 per-class 视图揭示的非对称偏移,这在 MI 中不可见;(iii) 一个受控的标签噪声研究,其中 kCk∑_k C_k 在端到端贝叶斯训练下对注入的 aleatoric 噪声不敏感,而 MI 和两者在迁移学习下都受到影响。在所有任务中,后验近似的质量对不确定性的影响至少与度量选择的影响一样强,表明不确定性如何通过网络传递的方式与如何度量不确定性一样重要。

关键词

引用

@article{arxiv.2602.21160,
  title  = {Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions},
  author = {Mame Diarra Toure and David A. Stephens},
  journal= {arXiv preprint arXiv:2602.21160},
  year   = {2026}
}

备注

8 pages, 17 figures