深度集成中的联合正则化与校准
机器学习
2025-11-10 v2 机器学习
摘要
深度集成是机器学习中强大的工具，既改善模型性能又提升不确定性校准。尽管集成通常通过单独训练和调优模型来 form，但证据表明，联合调优集成可导致更佳性能。本文研究了在预测性能和不确定性量化方面，联合调优权重衰减、温度缩放和提前停止的影响。此外，我们提出了一种部分重叠的 holdout 策略作为在启用联合评估和最大化训练数据使用之间的实用折中方案。我们的结果表明，联合调优集成通常在性能上与或优于单独调优，不同任务和指标之间的效果大小存在显著差异。我们强调了深度集成训练中 individual 与 joint 优化之间的权衡，部分重叠的 holdout 策略提供了引人注目的实用解决方案。我们相信我们的发现为寻求优化深度集成模型的实践者提供了宝贵的见解和指导。代码可用：https://github.com/lauritsf/ensemble-optimality-gap
引用
@article{arxiv.2511.04160,
title = {On Joint Regularization and Calibration in Deep Ensembles},
author = {Laurits Fredsgaard and Mikkel N. Schmidt},
journal= {arXiv preprint arXiv:2511.04160},
year = {2025}
}
备注
39 pages, 8 figures, 11 tables