通过学习率调优提升深度集成学习的性能
机器学习
2024-10-11 v1
摘要
学习率（LR）对深度学习训练性能影响巨大。常见做法是通过不同的学习率策略多次训练深度神经网络（DNN），以寻找最佳学习率策略，这一做法被广泛认为是繁琐且昂贵的。此外，多次DNN训练未被有效利用。实际中，往往仅采用最佳学习率，这会错失进一步提升深度学习系统整体准确率的机会，导致计算资源和训练时间的巨大浪费。本文提出了一种新框架LREnsemble，通过有效利用学习率调优来提升深度集成学习性能。我们作了三个原创性贡献：首先，我们展示了不同的学习率策略进行学习率调优可产生高度多样化的DNN，这些可作为深度集成的基模型提供。其次，我们利用不同的集成选择算法，从大量基模型中识别出高质量的深度集成，显著优于最佳单个基模型。最后，我们提出LREnsemble框架，利用学习率调优与深度集成技术的协同作用来增强深度学习性能。在多个基准数据集上的实验表明，LREnsemble有效，能够在经过良好优化的基线方法上提升最高达2.34%的准确率。
引用
@article{arxiv.2410.07564,
title = {Boosting Deep Ensembles with Learning Rate Tuning},
author = {Hongpeng Jin and Yanzhao Wu},
journal= {arXiv preprint arXiv:2410.07564},
year = {2024}
}