HomOpt：一种基于同伦的超参数优化方法
机器学习
2023-08-08 v1
摘要
过去几十年中，机器学习取得了显著成功，这通常归功于算法创新与大规模高质量数据的可用性的结合。然而，第三个关键组成部分是超参数的微调，它在实现最优模型性能方面起着举足轻重的作用。尽管其十分重要，超参数优化（HPO）由于若干原因仍是一项艰巨任务。许多 HPO 技术依赖朴素搜索方法，或假设损失函数平滑且连续，而事实未必如此。网格搜索和贝叶斯优化等传统方法往往难以快速适应并高效搜索损失地形。网格搜索计算成本高昂，而贝叶斯优化启动缓慢。由于 HPO 的搜索空间常为高维且非凸，高效找到全局最小值往往颇具挑战。此外，最优超参数可能对特定数据集或任务敏感，进一步使搜索过程复杂化。为解决这些问题，我们提出一种基于数据驱动的新超参数优化方法 HomOpt，其结合广义加性模型（GAM）代理与同伦优化。该策略增强了既有优化方法，可在连续、离散和分类域空间上更快收敛至最优，从而提升任意给定方法的性能与效率。我们将 HomOpt 应用于多种优化技术（如随机搜索、TPE、Bayes 和 SMAC）进行比较，结果表明在诸多标准化机器学习基准和具有挑战性的开集识别任务上目标性能均有提升。
引用
@article{arxiv.2308.03317,
title = {HomOpt: A Homotopy-Based Hyperparameter Optimization Method},
author = {Sophia J. Abraham and Kehelwala D. G. Maduranga and Jeffery Kinnison and Zachariah Carmichael and Jonathan D. Hauenstein and Walter J. Scheirer},
journal= {arXiv preprint arXiv:2308.03317},
year = {2023}
}