具有可达最坏情况收敛速率界的迭代算法直接综合
系统与控制
2020-03-24 v2 最优化与控制
摘要
梯度下降及其变体等一阶迭代方法被广泛用于求解优化和机器学习问题。近期人们有兴趣使用解析或数值高效的方法计算此类算法的最坏情况性能界，例如针对强凸损失函数类。一种流行方法是假设算法具有固定规模（固定维度或内存），其结构由一个或两个超参数参数化，例如学习率和动量参数。然后，寻找 Lyapunov 函数以证明鲁棒稳定性，并可进行后续优化以寻找最优超参数调优。在本工作中，我们改为固定刻画损失函数的约束，并应用鲁棒控制综合技术直接搜索算法。该方法产生了比以往可用的更强结果，因为所产生的界适用于具有任意但有限内存量的算法，而非仅适用于具有规定结构的算法。
引用
@article{arxiv.1904.09046,
title = {Direct Synthesis of Iterative Algorithms With Bounds on Achievable Worst-Case Convergence Rate},
author = {Laurent Lessard and Peter Seiler},
journal= {arXiv preprint arXiv:1904.09046},
year = {2020}
}
备注
American Control Conference, 2020