用于优化鳍条控制推进性能的异步并行强化学习
流体动力学
2024-01-23 v1 机器学习
系统与控制
系统与控制
摘要
鱼鳍条构成了辐鳍鱼复杂的控制系统，使其能够在复杂的流体环境中进行多功能运动。尽管对鱼类运动的运动学和流体动力学进行了广泛研究，但鳍条驱动中复杂的控制策略在很大程度上仍未被探索。虽然深度强化学习 (DRL) 在管理复杂非线性动力学方面展现了潜力，但其试错的特性限制了其在涉及计算密集型环境交互问题中的应用。本研究引入了一种前沿的离策略 DRL 算法，该算法与流固耦合 (FSI) 环境交互，以获取为各种推进性能目标量身定制的复杂鳍条控制策略。为了提高训练效率并实现可扩展的并行性，提出了一种创新的异步并行训练 (APT) 策略，该策略完全解耦了 FSI 环境交互与策略/价值网络优化。结果表明，所提出的方法在发现用于鳍条驱动控制的最优复杂策略方面取得了成功，与通过参数网格搜索确定的最优正弦驱动函数相比，获得了更优的推进性能。通过与非线性动力学控制数值实验中传统 DRL 训练策略的全面比较，也展示了 APT 方法的优点和有效性。
引用
@article{arxiv.2401.11349,
title = {Asynchronous Parallel Reinforcement Learning for Optimizing Propulsive Performance in Fin Ray Control},
author = {Xin-Yang Liu and Dariush Bodaghi and Qian Xue and Xudong Zheng and Jian-Xun Wang},
journal= {arXiv preprint arXiv:2401.11349},
year = {2024}
}
备注
37 pages, 12 figures