基于强化学习马尔可夫链蒙特卡洛算法神经控制策略的风力机能量优化
系统与控制
2023-03-14 v2 系统与控制
摘要
本研究聚焦于使用贝叶斯强化学习（RL）对垂直轴风力机（VAWT）进行数值分析与最优控制。我们特别关注小型风力机，其适用于本地紧凑式小规模电力生产，例如城市与农村基础设施安装。现有文献集中于在不受阻碍、大多恒定风廓线下运行的大型风力机。然而城市安装通常必须应对快速变化的风型。为弥补这一差距，我们制定并实现了一种使用马尔可夫链蒙特卡洛（MCMC）算法的 RL 策略，以优化风力机的长期能量输出。我们基于 MCMC 的 RL 算法是一种无模型且无梯度的算法，设计者无需知晓装置的精确动力学及其不确定性。我们的方法通过使用乘性奖励结构来处理不确定性，这与传统 RL 方法中使用的加性奖励形成对比。我们通过数值证明该方法特别克服了传统方案的典型缺陷，包括但不限于部件老化、建模误差以及风速模式估计中的不准确性。我们的结果表明，所提方法在捕获风瞬态能量方面尤为成功；通过调节发电机负载进而调节转子转矩负载，使转子叶尖速度快速达到预期风速下的最优值。该转子叶尖速度与风速之比在风力发电应用中已知为关键因素。所提方法的风到负载能量效率被证明优于另外两种方法：经典最大功率点跟踪方法与由深度确定性策略梯度（DDPG）方法控制的发电机。
引用
@article{arxiv.2209.03485,
title = {Energy Optimization of Wind Turbines via a Neural Control Policy Based on Reinforcement Learning Markov Chain Monte Carlo Algorithm},
author = {Vahid Tavakol Aghaei and Arda Ağababaoğlu and Biram Bawo and Peiman Naseradinmousavi and Sinan Yıldırım and Serhat Yeşilyurt and Ahmet Onat},
journal= {arXiv preprint arXiv:2209.03485},
year = {2023}
}