用于工业波浪能转换器的多智能体强化学习控制器的跳跃训练
机器学习
2023-10-10 v1 人工智能
系统与控制
系统与控制
摘要
近期的波浪能转换器（WEC）配备多条支腿与发电机以最大化能量生成。传统控制器在捕捉复杂波浪模式方面表现出局限性，且控制器必须高效最大化能量捕获。本文引入一种多智能体强化学习控制器（MARL），其性能优于传统使用的弹簧阻尼控制器。我们的初步研究表明，问题的复杂性使训练难以收敛。因此，我们提出一种新颖的跳跃训练方法，使MARL训练能够克服性能饱和，并相较于默认MARL训练收敛到更优的控制器，从而提升发电功率。我们还提出另一种新颖的混合训练初始化（STHTI）方法，其中MARL控制器的各个智能体可先针对基线弹簧阻尼（SD）控制器单独训练，随后在未来的迭代中一次训练一个智能体或全体同时训练以加速收敛。利用异步优势 actor-critic（A3C）算法，我们所提MARL控制器相较基线弹簧阻尼控制器在能源效率上实现了两位数增长。
引用
@article{arxiv.2209.05656,
title = {Skip Training for Multi-Agent Reinforcement Learning Controller for Industrial Wave Energy Converters},
author = {Soumyendu Sarkar and Vineet Gundecha and Sahand Ghorbanpour and Alexander Shmakov and Ashwin Ramesh Babu and Alexandre Pichard and Mathieu Cocho},
journal= {arXiv preprint arXiv:2209.05656},
year = {2023}
}
备注
2022 IEEE 18th International Conference on Automation Science and Engineering (CASE) August 20-24, 2022