基于轨迹的贝叶斯方法用于带 epoch-aware 折中方案的多目标超参数优化
机器学习
2025-05-22 v2
摘要
训练机器学习模型涉及资源密集且噪声较大的迭代学习过程，可对模型性能进行 epoch 级监控。然而，这些迭代学习过程所获得的见解通常在多目标超参数优化场景中被 underutilize。尽管该领域研究有限，现有方法通常仅在模型训练结束后才确定折中方案，忽略了在诸如过拟合等情况下，折中方案可能在较早的 epoch 出现。为弥合这一差距，我们提出了一种增强的多目标超参数优化问题，将训练 epoch 数作为决策变量，而非仅作为辅助参数，以考虑较早训练阶段的折中方案。为解决该问题并适应其迭代学习，我们提出了一种基于轨迹的多目标贝叶斯优化算法，具有两个特征：1) 一种捕捉模型性能在任意超参数设置下随 epoch 变化的预测轨迹改进情况的新型获取函数；以及2) 一种多目标提前停止机制，用于在最大化 epoch 效率的同时确定何时终止训练。在合成仿真和超参数调优基准测试实验中表明，我们的算法能够有效识别令人满意的折中方案，同时提高调优效率。
引用
@article{arxiv.2405.15303,
title = {A Trajectory-Based Bayesian Approach to Multi-Objective Hyperparameter Optimization with Epoch-Aware Trade-Offs},
author = {Wenyu Wang and Zheyi Fan and Szu Hui Ng},
journal= {arXiv preprint arXiv:2405.15303},
year = {2025}
}