缩减动作空间：基于参考模型辅助深度强化学习的逆变器无功电压控制
系统与控制
2022-10-17 v1 人工智能
机器学习
系统与控制
摘要
提出了一种用于主动配电网中基于逆变器的无功电压控制（IB-VVC）的参考模型辅助深度强化学习（DRL）方法。我们研究发现，在生成数据与训练神经网络的过程中，较大的动作空间会增加 DRL 的学习难度并降低优化性能。为缩减 DRL 的动作空间，我们设计了一种参考模型辅助 DRL 方法。我们给出了参考模型、基于参考模型的优化以及参考动作的定义。参考模型辅助 DRL 学习的是参考动作与最优动作之间的残差动作，而非直接学习最优动作。由于对于参考模型而言残差动作远小于最优动作，我们可为参考模型辅助 DRL 设计更小的动作空间。这降低了 DRL 的学习难度并优化了参考模型辅助 DRL 方法的性能。值得注意的是，参考模型辅助 DRL 方法可兼容任意用于连续动作问题的策略梯度 DRL 算法。本工作以软 actor-critic 算法为例，设计了参考模型辅助软 actor-critic 算法。仿真表明：1）较大的动作空间在整个训练阶段均会降低 DRL 性能；2）参考模型辅助 DRL 所需迭代次数更少且优化性能更优。
引用
@article{arxiv.2210.07360,
title = {Reducing Action Space: Reference-Model-Assisted Deep Reinforcement Learning for Inverter-based Volt-Var Control},
author = {Qiong Liu and Ye Guo and Lirong Deng and Haotian Liu and Dongyu Li and Hongbin Sun},
journal= {arXiv preprint arXiv:2210.07360},
year = {2022}
}
备注
10 pages, 9 figures