自主优化中的时间尺度分离
最优化与控制
2020-10-08 v4
摘要
自主优化是指设计反馈控制器，将物理系统引导至求解预定义（可能带约束）优化问题的稳态。因此，不需要设定值或轨迹等外生控制输入。相反，这类控制器是仿照以动力系统形式出现的优化算法建模的。然而，此类优化动力学与物理系统的互联并不能保证稳定，除非两者动力学作用在充分不同的时间尺度上。本文中，我们量化了所需的时间尺度分离，并给出了可直接用于此类反馈控制器设计的设计准则。利用奇异扰动分析的思想，我们针对基于常见连续时间优化格式的不同反馈律推导了稳定性界。具体地，我们考虑梯度下降及其变体，包括投影梯度和牛顿梯度。我们进一步给出了动量方法与鞍点流的稳定性界。最后，我们讨论了为何像次梯度下降和加速梯度下降这样的优化算法，尽管在离线设定下表现良好，却因其普遍缺乏鲁棒性而不适用于自主优化。
引用
@article{arxiv.1905.06291,
title = {Timescale Separation in Autonomous Optimization},
author = {Adrian Hauswirth and Saverio Bolognani and Gabriela Hug and Florian Dörfler},
journal= {arXiv preprint arXiv:1905.06291},
year = {2020}
}