用于深度神经网络集成的高效训练时堆叠
机器学习
2022-06-28 v1 计算机视觉与模式识别
摘要
集成是一种流行且有效的改进机器学习（ML）模型的方法。它不仅在经典 ML 中证明了其价值，对深度学习也是如此。集成增强了 ML 解决方案的质量与可信度，并允许不确定性估计。然而，它是有代价的：训练深度学习模型的集成消耗大量计算资源。快照集成在单一训练路径上收集集成中的模型。由于只训练一次，计算时间与训练一个模型相近。然而，训练路径上模型的质量不同：通常若无过拟合，较后的模型更好。因此，模型的效用各异。我们的方法通过沿训练路径选择和加权集成成员来改进快照集成。它依赖于训练时似然，而不像标准堆叠方法那样查看验证样本误差。在 Fashion MNIST、CIFAR-10 和 CIFAR-100 数据集上的实验证据表明，所提出的加权集成相较于深度学习的普通集成具有更优的质量。
引用
@article{arxiv.2206.13491,
title = {Effective training-time stacking for ensembling of deep neural networks},
author = {Polina Proscura and Alexey Zaytsev},
journal= {arXiv preprint arXiv:2206.13491},
year = {2022}
}