基于强化学习的控制中参考跟踪与扰动抑制问题的稳态误差补偿
系统与控制
2022-02-01 v1 机器学习
系统与控制
摘要
强化学习（RL）是自动控制应用中一项极具前景的新兴主题。传统控制方法需要先验系统知识，而像 RL 这样的数据驱动控制方法允许无模型控制器设计流程，使其成为针对具有变化被控对象结构和变化参数的系统的新兴技术。尽管在各种应用中已经表明，复杂系统的瞬态控制行为可以通过 RL 得到充分处理，但非消失的稳态控制误差这一挑战仍然存在，这源于控制策略近似和有限训练时间的使用。为了克服这一问题，引入了一种用于基于 actor-critic 的 RL 控制器的积分作用状态增广（IASA），其模仿积分反馈，灵感来自模型预测控制中的 delta 输入公式。这种增广不需要任何专家知识，使该方法保持无模型特性。因此，RL 控制器学会了如何更有效地抑制稳态控制偏差。来自电气工程领域的两个示例性应用验证了所开发方法在参考跟踪和扰动抑制两方面的优势。与标准的深度确定性策略梯度（DDPG）设置相比，所建议的 IASA 扩展在所考虑的验证场景中允许将稳态误差降低高达 52 。
引用
@article{arxiv.2201.13331,
title = {Steady-State Error Compensation in Reference Tracking and Disturbance Rejection Problems for Reinforcement Learning-Based Control},
author = {Daniel Weber and Maximilian Schenke and Oliver Wallscheid},
journal= {arXiv preprint arXiv:2201.13331},
year = {2022}
}