中文

关于扰动梯度流输入到状态稳定性的注记:受无模型反馈控制学习的启发

最优化与控制 2021-08-31 v3 系统与控制 系统与控制

摘要

近期关于数据驱动控制与强化学习的工作重新唤起了对控制理论中一个相对古老领域的兴趣:直接利用代价函数且不依赖系统模型完美知识的无模型最优控制方法。相反,一个“预言机”返回与所提议的线性反馈律(用于求解线性二次型调节器问题)相关联的代价估计。该代价及其梯度的估计,可通过在被控物理系统上开展实验获得。这进而促使人们分析最速下降算法及其关联的梯度微分方程。本注记研究了梯度估计中误差的影响,以输入到状态稳定性的语言表述,其中输入表示来自真实梯度的扰动。由于需要研究在欧几里得空间适当开子集上演化的系统,我们给出了在此类集合上演化的系统的输入到状态稳定性定义与定理的自包含综述。随后将结果应用于带噪梯度系统及关联最速下降算法的研究。

关键词

引用

@article{arxiv.2108.02632,
  title  = {Remarks on input to state stability of perturbed gradient flows, motivated by model-free feedback control learning},
  author = {Eduardo D. Sontag},
  journal= {arXiv preprint arXiv:2108.02632},
  year   = {2021}
}

备注

Version 2 has now includes a more descriptive abstract and introduction, more citations, and a detailed discussion of the steepest descent algorithm as an ISS discrete-time system. Version 3 added a few citations in the discussion (thanks to readers who suggested)