基于深度强化学习与流固耦合的鱼类适应行为数值模拟方法——部分侧线功能的实现
流体动力学
2023-01-25 v1
摘要
改进复杂环境中鱼类自主游动行为的数值方法，对仿生控制器优化、过鱼设施设计及鱼类行为研究具有重要意义。本文搭建了鱼类自主游动仿真平台，采用高精度 IB-LBM 实时模拟鱼体与流场相互作用的动态过程，并通过 SAC 深度强化学习算法实现鱼脑运动控制。更重要的是，针对现有仿真平台泛化性差的问题，提出了一种模拟鱼类侧线功能的方法。通过加入侧线机并设计宏动作系统，智能鱼具备了在非定常流场中识别、分类、记忆并迁移相应游动策略的能力。利用该方法，开展了不同来流速度下点对点捕食游动与卡门涡街测试的训炼与模拟。在点对点捕食游动示例中，随机位置的鱼可自主调整游动姿态与速度以捕捉快速移动的食物，并对食物运动轨迹具有一定预测能力。在卡门涡街测试中，将训练后的鱼置于三种不同卡门涡街流场中，研究其通过经验识别流场并选择游动策略的能力。数值实验结果表明，相较于其他值函数网络，基于最大熵的 SAC 算法在模拟鱼脑决策时于收敛速度与训练效率上更具优势。侧线机与宏动作系统的使用可避免经验浪费，提升智能鱼在新复杂流场环境中的适应性。
引用
@article{arxiv.2301.10085,
title = {A numerical simulation method of fish adaption behavior based on deep reinforcement learning and fluid-structure coupling-realization of some lateral line functions},
author = {Tao Li and Chunze Zhang and Peiyi Peng and Ji Hou and Qin Zhou and Qian Ma},
journal= {arXiv preprint arXiv:2301.10085},
year = {2023}
}