基于状态空间降维的快速在线强化学习控制
系统与控制
2020-09-16 v2 系统与控制
摘要
在本文中，我们提出一种快速强化学习（RL）控制算法，可实现大规模网络动态系统的在线控制。RL 是为具有未知状态空间模型的线性时不变（LTI）网络设计无模型线性二次调节器（LQR）控制器的有效方法。然而，当网络规模较大时，常规 RL 会导致不可接受的长学习时长。所提出的方法是通过投影矩阵将测得的状态投影来构造压缩状态向量。该矩阵由状态的在线测量值构造，以捕获开环网络模型的主导可控子空间。接下来，使用降维状态而非原始状态学习 RL 控制器，使得所得代价接近最优 LQR 代价。使用包括 IEEE 68 总线基准电力系统的广域控制示例在内的说明性例子，验证了该方法在数值上以及信息物理实现上的益处。
引用
@article{arxiv.1912.06514,
title = {Fast Online Reinforcement Learning Control using State-Space Dimensionality Reduction},
author = {Tomonori Sadamoto and Aranya Chakrabortty and Jun-ichi Imura},
journal= {arXiv preprint arXiv:1912.06514},
year = {2020}
}
备注
12 pages