让你的过拟合网络谦逊：通过序列蒙特卡洛退火深度集成遗忘过拟合
机器学习
2025-05-20 v1 机器学习
统计计算
摘要
序列蒙特卡洛（SMC）方法为贝叶斯不确定性量化提供了一种原则性的方法，但传统上受限于需要全批量梯度评估。我们通过将随机梯度哈密顿蒙特卡洛（SGHMC）提议纳入SMC，引入了一种可扩展的变体，从而实现了高效的基于小批量的采样。我们得到的SMCSGHMC算法在图像分类、分布外（OOD）检测和迁移学习任务中，优于标准的随机梯度下降（SGD）和深度集成。我们进一步表明，SMCSGHMC减轻了过拟合并改善了校准，为将预训练的神经网络转换为校准良好的贝叶斯模型提供了一条灵活、可扩展的途径。
引用
@article{arxiv.2505.11671,
title = {Humble your Overconfident Networks: Unlearning Overfitting via Sequential Monte Carlo Tempered Deep Ensembles},
author = {Andrew Millard and Zheng Zhao and Joshua Murphy and Simon Maskell},
journal= {arXiv preprint arXiv:2505.11671},
year = {2025}
}