随机网络蒸馏、深度集成与贝叶斯推断的等价性
机器学习
2026-02-27 v2 人工智能
概率论
机器学习
摘要
不确定性量化是深度学习模型安全高效部署的核心内容，但许多计算实用方法缺乏严格的理论动机。随机网络蒸馏 (RND) 是一种轻量级技术，通过测量对固定随机目标的预测误差来衡量新颖性。虽然经验上效果良好，但人们仍不清楚 RND 测量的是什么不确定性以及其估计如何与其他方法（如贝叶斯推断或深度集成）相关。本文通过在神经angent kernel 框架下分析 RND（在网络宽度无限极限下）来建立这些缺失的理论联系。我们的分析揭示了该极限下的两个核心发现：(1) RND 的不确定性信号——其平方自预测误差——等价于深度集成的预测方差。(2) 通过构建特定的 RND 目标函数，我们表明 RND 误差分布可被设计为镜像贝叶斯推断中宽神经网络的中心后验预测分布。基于此等价性，我们进一步构想了一个后验抽样算法，用于从精确贝叶斯后验预测分布中生成独立同分布样本。总体而言，我们的发现提供了一个统一的理论视角，将 RND 置于深度集成和贝叶斯推断的原则框架中，并为高效且理论上有据可依的不确定性量化方法提供了新思路。
引用
@article{arxiv.2602.19964,
title = {On the Equivalence of Random Network Distillation, Deep Ensembles, and Bayesian Inference},
author = {Moritz A. Zanger and Yijun Wu and Pascal R. Van der Vaart and Wendelin Böhmer and Matthijs T. J. Spaan},
journal= {arXiv preprint arXiv:2602.19964},
year = {2026}
}
备注
8 pages, 1 Figure