学习用于神经网络泛化与不确定性估计的表达性先验
机器学习
2026-03-31 v2 人工智能
机器学习
摘要
在这项工作中，我们提出了一种新颖的先验学习方法，以推进深度神经网络的泛化与不确定性估计。核心思想是利用神经网络可扩展且结构化的后验作为具有泛化保证的信息性先验。我们学习到的先验在大规模上提供了表达性的概率表示，类似于在ImageNet上预训练模型的贝叶斯对应物，并进一步产生非平凡的泛化界。我们还将这一思想扩展到持续学习框架中，其中我们先验的良好特性是所期望的。主要推动因素是我们的技术贡献：（1）Kronecker积之和计算，以及（2）可导且可优化的易处理目标，其带来了改进的泛化界。在经验上，我们详尽地展示了该方法在不确定性估计和泛化方面的有效性。
引用
@article{arxiv.2307.07753,
title = {Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks},
author = {Dominik Schnaus and Jongseok Lee and Daniel Cremers and Rudolph Triebel},
journal= {arXiv preprint arXiv:2307.07753},
year = {2026}
}
备注
Accepted to ICML 2023