在超参数优化堆叠集成中，以递增系数幅度停止准则为正则化提升元学习器
机器学习
2024-02-05 v1
摘要
在超参数优化（HPO）中，通常在执行多次试验后，只选择性能最佳的超参数配置，从而丢弃了用每个超参数配置试验训练所有模型并对它们进行集成的努力。这种集成包括简单地对模型预测取平均或按一定概率对模型加权。最近，提出了其他更复杂的集成策略，如Caruana方法或堆叠策略。一方面，Caruana方法在HPO集成中表现良好，因为它不受HPO中普遍存在的多重共线性效应的影响。它只是对带有替换的预测子集计算平均值。但它没有从学习过程的泛化能力中受益。另一方面，堆叠方法包含一个学习过程，因为需要一个元学习器来执行集成。然而，关于哪种元学习器是合适的，几乎没有建议。此外，一些元学习器可能受到多重共线性的影响，或者需要进行调整以减少这些影响。本文探索了用于HPO堆叠集成的元学习器，这些元学习器无需超参数调整，能够减少多重共线性的影响，并考虑集成学习过程的泛化能力。在这方面，提升策略作为堆叠元学习器似乎很有前景。事实上，它完全消除了多重共线性的影响。本文还在经典提升方法中提出了一种隐式正则化，以及一种新颖的、仅适用于提升且专为HPO设计的非参数停止准则。与提升方法上的这两项改进之间的协同作用，相比其他现有的元学习器和除堆叠集成之外的HPO集成方法，展现出了具有竞争力和前景的预测性能。
引用
@article{arxiv.2402.01379,
title = {Regularized boosting with an increasing coefficient magnitude stop criterion as meta-learner in hyperparameter optimization stacking ensemble},
author = {Laura Fdez-Díaz and José Ramón Quevedo and Elena Montañés},
journal= {arXiv preprint arXiv:2402.01379},
year = {2024}
}