非平稳模型训练的高效超参数搜索
机器学习
2025-12-02 v1 机器学习
摘要
在线学习是推荐系统和广告系统等应用的基石，这些系统的模型需要不断适应变化的数据分布。对于此类系统而言，模型训练成本极高， hyperparameter search的成本更是呈指数级增长。我们提出一种两阶段范式来降低此类成本：（1）高效识别最有前景的配置，（2）仅对这些候选配置进行充分训练。我们的核心洞察是：在第一阶段聚焦于准确识别，而非实现最佳性能，可允许我们采取激进的成本节省措施。我们开发了新颖的数据降解和预测策略，专为克服顺序性、非平稳数据所面临的挑战而设计，这些挑战传统hyperparameter optimization方法并未 addresses。我们通过两个层面的评估来验证框架的有效性：首先在Criteo 1TB数据集上进行测试（该数据集是规模最大的适用公开基准），其次在规模可观（数据规模大约是前者的百分之一）的工业广告系统中进行部署。我们的方法在公开基准上可将总体hyperparameter search成本降低最高达10倍，在工业环境中也实现了显著且经验证的效率提升。
引用
@article{arxiv.2512.01258,
title = {Efficient Hyperparameter Search for Non-Stationary Model Training},
author = {Berivan Isik and Matthew Fahrbach and Dima Kuzmin and Nicolas Mayoraz and Emil Praun and Steffen Rendle and Raghavendra Vasudeva},
journal= {arXiv preprint arXiv:2512.01258},
year = {2025}
}