基于潜在 Kronecker 高斯过程的学习曲线预测与 Successive Halving
机器学习
2025-08-21 v1
摘要
Successive Halving 是一种流行的超参数优化算法，它将指数级更多的资源分配给有潜力的候选者。然而，该算法通常依赖中间性能值来做出资源分配决策，这可能导致其过早地剔除最终会成为最佳候选者的慢启动者。我们研究了基于潜在 Kronecker 高斯过程的学习曲线预测来指导 Successive Halving 是否能克服这一局限性。在一项涉及不同神经网络架构和点击预测数据集的大规模实证研究中，我们将这种预测方法与基于当前性能值的标准方法进行了比较。我们的实验表明，尽管预测方法取得了具有竞争力的性能，但与将更多资源投入标准方法相比，它并非 Pareto 最优，因为它需要完全观测到的学习曲线作为训练数据。然而，这一缺点可以通过利用现有的学习曲线数据来缓解。
引用
@article{arxiv.2508.14818,
title = {Successive Halving with Learning Curve Prediction via Latent Kronecker Gaussian Processes},
author = {Jihao Andreas Lin and Nicolas Mayoraz and Steffen Rendle and Dima Kuzmin and Emil Praun and Berivan Isik},
journal= {arXiv preprint arXiv:2508.14818},
year = {2025}
}
备注
AutoML 2025 Non-Archival Track