受限时间约束下的自动模型训练
机器学习
2024-02-06 v1 机器学习
摘要
我们开发了一种超参数优化算法——自动预算约束训练（AutoBCT），其在模型质量与调优所需计算成本之间取得平衡。超参数、模型质量与计算成本之间的关系必须被学习，且该学习被直接纳入优化问题中。在每轮训练周期，算法决定是否终止或继续训练，并在后一种情况下决定使用何种超参数值。该决策在潜在的质量提升、额外训练时间以及关于已学习量的不确定性之间进行了最优权衡。我们算法的性能在涵盖随机森林与神经网络的若干机器学习问题上得到验证。我们的方法植根于带部分信息的马尔可夫决策过程理论，并开发了数值方法以计算值函数与最优策略。
引用
@article{arxiv.2104.10746,
title = {Automatic model training under restrictive time constraints},
author = {Lukas Cironis and Jan Palczewski and Georgios Aivaliotis},
journal= {arXiv preprint arXiv:2104.10746},
year = {2024}
}