利用已知信息加速基于 SMBO 的超参数优化
机器学习
2019-07-19 v2 机器学习
摘要
Automl 是机器学习问题的关键技术。当前最先进的超参数优化方法基于传统的黑盒优化方法如 SMBO (SMAC、TPE)。黑盒优化的目标函数非光滑，或评估耗时，或在某些方面含噪声。近年来，许多研究者提供了关于超参数性质的工作。然而，传统超参数优化方法未考虑这些信息。在本文中，我们利用梯度信息与机器学习模型分析信息来加速传统超参数优化方法 SMBO。在我们的 L2 范数实验中，我们的方法取得了 state-of-the-art 性能，且在许多情况下优于先前最佳配置方法。
引用
@article{arxiv.1811.03322,
title = {Using Known Information to Accelerate HyperParameters Optimization Based on SMBO},
author = {Cheng Daning and Zhang Hanping and Xia Fen and Li Shigang and Zhang Yunquan},
journal= {arXiv preprint arXiv:1811.03322},
year = {2019}
}