一种用于SVM超参数调优的新型正交方向网格自适应直接搜索方法
机器学习
2019-04-29 v1 机器学习
摘要
在本文中，我们提出使用一种称为带正交方向的确定性网格自适应直接搜索（MADS）算法的黑盒优化方法（Ortho-MADS），用于选择高斯核支持向量机的超参数。与文献中大多数利用数据性质或试图在第一象限 (C, gamma) 上最小化验证集精度的方法不同，Ortho-MADS提供了收敛性证明。我们介绍了MADS，随后介绍Ortho-MADS、由MADS网格尺寸定义的动态停止准则，以及两种不同的搜索策略（Nelder-Mead与Variable Neighborhood Search），它们有助于具竞争力的收敛速率以及逃离不良局部极小值的机制。我们研究了高斯核支持向量机的实用超参数选择，即在若干基准数据集上恰当选择超参数 gamma（带宽）与 C（权衡）。实验结果表明，所提出的超参数调优方法在使用通用配置时，持续找到与其他方法相当或更好的解。我们还使用以网格尺寸作为停止准则的带Nelder-Mead搜索策略与Variable Neighborhood Search策略的Ortho-MADS，评估了其精度与函数评估次数，并达到了其他超参数优化方法均未能达到的精度。
引用
@article{arxiv.1904.11649,
title = {A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning},
author = {Alexandre Reeberg Mello and Jonathan de Matos and Marcelo R. Stemmer and Alceu de Souza Britto and Alessandro Lameiras Koerich},
journal= {arXiv preprint arXiv:1904.11649},
year = {2019}
}