从复杂到简单：面向黑盒优化的自适应 ES-主动子空间方法
最优化与控制
2019-06-06 v3 机器学习
机器学习
摘要
我们提出一种用于优化高维黑盒函数的新型算法 ASEBO。ASEBO 适应函数的几何结构，并实时学习用于探测函数的最优感知方向集合。它通过压缩感知与情境赌博机方法持续学习用于近似函数平滑梯度的低维模型的偏置，从而处理昂贵黑盒查询下的黑盒优化探索-利用权衡。为获得该模型，它利用新兴的主动子空间理论于新颖的 ES 黑盒优化背景中。结果，ASEBO 学习梯度空间动态变化的内在维度，并在无外部监督下适应优化不同阶段的难度。因此，它比最先进算法带来更高采样效率的黑盒优化。我们提供了理论结果，并通过在强化学习策略优化任务集以及最近开源的 Nevergrad 库中的函数上评估 ASEBO，实证检验其优于其他方法的优势。
引用
@article{arxiv.1903.04268,
title = {From Complexity to Simplicity: Adaptive ES-Active Subspaces for Blackbox Optimization},
author = {Krzysztof Choromanski and Aldo Pacchiano and Jack Parker-Holder and Yunhao Tang},
journal= {arXiv preprint arXiv:1903.04268},
year = {2019}
}