用于扩散波能量捕获的强化学习控制器的函数逼近
人工智能
2024-04-18 v1 机器学习
系统与控制
系统与控制
摘要
工业多发电机波浪能转换器（WEC）必须处理来自不同方向的多重同时波浪，称为扩散波。这些在挑战性环境中的复杂设备需要具有多个目标的控制器：能量捕获效率、减少结构应力以限制维护、以及针对高波浪的主动保护。使用近端策略优化（PPO）算法训练的多智能体强化学习（MARL）控制器可以处理这些复杂性。在本文中，我们探索了策略网络和评论家网络在建模系统动态的序列性质时的不同函数逼近，并发现它们对更好的性能至关重要。我们研究了全连接神经网络（FCN）、LSTM和Transformer模型变体在不同深度和门控残差连接下的性能。我们的结果表明，具有适度深度的Transformer模型，在多头注意力、多层感知机和Transformer块周围使用门控残差连接（本文提出的STrXL）是最优的，并且对于这些复杂的扩散波，能量效率平均提高了22.1%，超过了现有的弹簧阻尼器（SD）控制器。此外，与默认的SD控制器不同，Transformer控制器几乎消除了角度波引起的旋转偏航运动的机械应力。演示：https://tinyurl.com/yueda3jh
引用
@article{arxiv.2404.10991,
title = {Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves},
author = {Soumyendu Sarkar and Vineet Gundecha and Sahand Ghorbanpour and Alexander Shmakov and Ashwin Ramesh Babu and Avisek Naug and Alexandre Pichard and Mathieu Cocho},
journal= {arXiv preprint arXiv:2404.10991},
year = {2024}
}
备注
IJCAI 2023, Proceedings of the Thirty-Second International Joint Conference on Artificial IntelligenceAugust 2023