基于信赖域无导数算法的机器学习黑盒优化
机器学习
2017-03-22 v1
摘要
在这项工作中，我们利用一种基于信赖域的无导数优化（DFO-TR）方法来直接最大化接收者操作特征曲线下面积（AUC），这是一个非光滑、有噪声的函数。我们证明，如果正类和负类数据点的分布服从联合正态分布，则 AUC 在期望意义下是一个光滑函数。该算法的实际性能与三种著名的贝叶斯优化方法和随机搜索进行了比较。给出的数值结果表明，DFO-TR 在各种黑盒优化问题上超越了贝叶斯优化和随机搜索，例如最大化 AUC 和超参数调优。
引用
@article{arxiv.1703.06925,
title = {Black-Box Optimization in Machine Learning with Trust Region Based Derivative Free Algorithm},
author = {Hiva Ghanbari and Katya Scheinberg},
journal= {arXiv preprint arXiv:1703.06925},
year = {2017}
}