显式梯度学习
机器学习
2020-06-17 v1 最优化与控制
机器学习
摘要
黑盒优化（BBO）方法可为与无解析表示的复杂环境交互的系统找到最优策略，因此在诸多人工智能（AI）领域中备受关注。然而经典BBO方法在高维非凸问题中表现不佳，因而常被实际AI任务所忽视。本文提出一种称为显式梯度学习（EGL）的BBO方法，旨在优化高维病态函数。我们通过发现以参数神经网络（NN）模型拟合目标函数并通过计算参数梯度获得梯度信号的方法之弱点，推导出EGL。EGL不拟合函数，而是训练NN直接估计目标梯度。我们证明了EGL在凸优化中的收敛性及其在可积函数优化中的鲁棒性。我们评估了EGL，并在两个挑战性问题中取得最先进结果：（1）COCO测试套件对比多种标准BBO方法；（2）高维非凸图像生成任务。
引用
@article{arxiv.2006.08711,
title = {Explicit Gradient Learning},
author = {Mor Sinay and Elad Sarafian and Yoram Louzoun and Noa Agmon and Sarit Kraus},
journal= {arXiv preprint arXiv:2006.08711},
year = {2020}
}