利用降维与超参数学习加速无导数优化
最优化与控制
2021-01-20 v1
摘要
我们考虑具有加性或乘性噪声的凸黑盒目标函数，其参数空间高维而数据空间低维，其中映射的梯度存在但可能不可访问。我们研究此设定下的无导数优化（DFO），并基于STARS（Chen和Wild，2015）与通过主动子空间（AS）方法（Constantine，2015）在参数空间降维，提出一种新方法Active STARS（ASTARS）。STARS超参数与参数空间已知维数成反比，导致大维度下强平滑与小步长。在可能时，ASTARS利用低维AS，定义参数空间中导致函数值大部分方差的一组方向。ASTARS迭代仅在AS中沿步长更新，比在全参数空间中更新的STARS更有效地降低目标函数值。通过学习ASTARS超参数与AS，可进一步降低计算成本，减少目标函数总评估次数，并消除用户指定超参数的要求（在我们的设定中这可能未知）。我们称此方法为全自动化ASTARS（FAASTARS）。我们证明STARS与ASTARS均会收敛——具有某种复杂度——即便使用不精确、估计的超参数。我们还发现FAASTARS在使用估计的AS与超参数时收敛。我们通过数值算例探究ASTARS与FAASTARS的有效性，将其与STARS比较。
引用
@article{arxiv.2101.07444,
title = {Accelerating Derivative-Free Optimization with Dimension Reduction and Hyperparameter Learning},
author = {Jordan R. Hall and Varis Carey},
journal= {arXiv preprint arXiv:2101.07444},
year = {2021}
}
备注
50 pages (26 pages of which are the technical report), 5 figures