用于机器学习方法超参数调优的离散仿真优化
机器学习
2023-06-21 v3 系统与控制
系统与控制
摘要
机器学习（ML）方法被用于大多数技术领域，如图像识别、产品推荐、金融分析、医疗诊断和预测性维护。实现 ML 方法的一个重要方面是控制其学习过程，以最大化所考虑方法的性能。超参数调优是为控制学习过程而选择合适 ML 方法参数集的过程。本工作中，我们展示了使用离散仿真优化方法（如排序与选择（R&S）和随机搜索）来识别最大化 ML 方法性能的超参数集。具体而言，我们为此使用了 KN R&S 方法、随机尺子随机搜索方法及其一种变体。我们还构建了应用 KN 方法的理论基础，该方法通过解空间枚举以统计保证确定最优解。相比之下，随机尺子方法渐近收敛至全局最优且计算开销更小。我们展示了这些方法在多种机器学习模型上的应用，包括用于时间序列预测和图像分类的深度神经网络模型。我们将这些方法的应用与最先进的超参数优化库（如 和 ）进行基准比较。KN 方法始终优于 的随机搜索（RS）和 Tree of Parzen Estimators（TPE）方法。随机尺子方法优于 的 RS 方法，并在统计上与 的 TPE 方法和 算法性能相当。
引用
@article{arxiv.2201.05978,
title = {Discrete Simulation Optimization for Tuning Machine Learning Method Hyperparameters},
author = {Varun Ramamohan and Shobhit Singhal and Aditya Raj Gupta and Nomesh Bhojkumar Bolia},
journal= {arXiv preprint arXiv:2201.05978},
year = {2023}
}