面向二阶系统自适应控制的元强化学习
机器学习
2022-09-21 v1 人工智能
系统与控制
系统与控制
摘要
元学习是机器学习的一个分支，旨在从相关任务的分布中综合数据以高效解决新任务。在过程控制中，许多系统具有相似且已被充分理解的动力学特性，这表明通过元学习创建可泛化的控制器是可行的。在这项工作中，我们提出了一种元强化学习（meta-RL）控制策略，该策略利用已知的离线信息（如模型结构）进行训练。元强化学习智能体在模型参数的分布上而非单一模型上进行训练，使智能体能够在保持性能的同时自动适应过程动力学的变化。一个关键设计要素是能够在训练期间离线利用基于模型的信息，同时保持无模型策略结构以与新环境交互。我们之前的工作已展示该方法如何应用于工业相关的比例-积分控制器整定问题以控制一阶过程。在这项工作中，我们简要重申了我们的方法，并展示了如何将其扩展到比例-积分-微分控制器和二阶系统。
引用
@article{arxiv.2209.09301,
title = {Meta-Reinforcement Learning for Adaptive Control of Second Order Systems},
author = {Daniel G. McClement and Nathan P. Lawrence and Michael G. Forbes and Philip D. Loewen and Johan U. Backström and R. Bhushan Gopaluni},
journal= {arXiv preprint arXiv:2209.09301},
year = {2022}
}
备注
AdCONIP 2022. arXiv admin note: substantial text overlap with arXiv:2203.09661