Auto-Ensemble：基于自适应学习率调度的深度学习模型集成
机器学习
2020-12-04 v2 机器学习
摘要
集成深度学习模型是在新场景中推广其应用的捷径，可避免从头调整神经网络、损失和训练算法。然而，通过一次训练收集到足够准确且多样的模型是困难的。本文提出Auto-Ensemble（AE），通过自适应学习率调度算法收集深度学习模型的检查点并自动集成。该方法的优势在于通过在一次训练中调度学习率使模型收敛到多个局部最优。当局部最优解数量趋于饱和时，所有收集的检查点用于集成。我们的方法具有通用性，可应用于多种场景。在多个数据集和神经网络上的实验表明其有效且具有竞争力，尤其在少样本学习中。此外，我们提出了一种衡量模型间距离的方法，从而可确保所收集模型的准确性和多样性。
引用
@article{arxiv.2003.11266,
title = {Auto-Ensemble: An Adaptive Learning Rate Scheduling based Deep Learning Model Ensembling},
author = {Jun Yang and Fei Wang},
journal= {arXiv preprint arXiv:2003.11266},
year = {2020}
}
备注
14 pages, 8 figures, in IEEE Access