在无导数优化中线性插值比高斯平滑给出更好的梯度
最优化与控制
2019-06-05 v2 机器学习
摘要
本文考虑无导数优化问题，其中目标函数光滑但带有一定噪声计算，函数评估代价高昂且无可用的导数信息。我们的动机来自近年来流行的强化学习中的策略优化问题 [Choromaski et al. 2018; Fazel et al. 2018; Salimans et al. 2016]，其可表述为具有上述特征的无导数优化问题。在这些工作中，均构造了某种梯度近似并应用了（随机）梯度法。[Salimans et al. 2016] 中沿高斯方向聚合梯度信息，而 [Choromaski et al. 2018] 中沿正交方向计算。我们对一种一阶线搜索方法（类似于文献中使用的方法）给出收敛速率分析，并推导出确保该收敛的梯度近似所需条件。随后，通过对方差的严格分析以及在强化学习任务上的数值比较，我们证明 [Salimans et al. 2016] 中使用的高斯采样方法显著劣于 [Choromaski et al. 2018] 中使用的正交采样以及更一般的插值方法。
引用
@article{arxiv.1905.13043,
title = {Linear interpolation gives better gradients than Gaussian smoothing in derivative-free optimization},
author = {Albert S Berahas and Liyuan Cao and Krzysztof Choromanski and Katya Scheinberg},
journal= {arXiv preprint arXiv:1905.13043},
year = {2019}
}
备注
14 pages, 2 figures. arXiv admin note: text overlap with arXiv:1905.01332