BatchEnsemble 是单一模型吗？关于高效集成的校准与多样性研究
机器学习
2026-01-26 v1
摘要
在资源受限和低延迟场景中，必须高效获取不确定性估计。Deep Ensemble 提供稳健的表观不确定性（EU），但需要训练多个完整模型。BatchEnsemble 通过对共享基础网络应用学习到的秩-1 扰动来实现类似集成的 EU，从而在参数和内存成本上大幅降低。我们表明，BatchEnsemble 不仅不如 Deep Ensemble 后继，还在准确率、校准和基于 CIFAR10/10C/SVHN 的 out-of-distribution（OOD）检测方面 closely 跟随单一模型基线。对 MNIST 的控制研究发现，集成成员在函数和参数空间中接近相同，表明其在实现不同预测模式方面的容量有限。因此，BatchEnsemble 的行为更像是一个单一模型而非真正的集成。
关键词
引用
@article{arxiv.2601.16936,
title = {Is BatchEnsemble a Single Model? On Calibration and Diversity of Efficient Ensembles},
author = {Anton Zamyatin and Patrick Indri and Sagar Malhotra and Thomas Gärtner},
journal= {arXiv preprint arXiv:2601.16936},
year = {2026}
}
备注
Accepted at the 1st workshop on Epistemic Intelligence in Machine Learning at EurIPS 2025