基于深度强化学习的水母样游动器在障碍流场中的导航
流体动力学
2025-11-07 v1
摘要
我们发展了一个深度强化学习框架，用于控制一种受生物启发的水母游动器以导航复杂的流体环境中的障碍物。虽然现有方法通常依赖于运动学和几何状态，但在强流体-结构相互作用和近壁效应下实现有效的障碍规避仍是一个关键挑战。我们在智能演员-评论家算法中增强了代理的状态表示，包括游动器所经历的实时力和扭矩，提供了由涡旋-壁面相互作用产生的直接机械反馈。这种增强后的状态空间使游动器能够通过不同的水动力力签名来感知和解释壁面位置和取向。我们分析了这些力和扭矩模式如何由位于不同位置的壁面生成，并影响游动器的决策制定策略。与不包含力反馈的基线模型进行的比较实验表明，本研究的模型在二维障碍规避任务中实现了更高的导航效率。结果表明，显式的力反馈促进了更早、更平滑的机动，并使游动器能够利用壁面效应实现高效的转向行为。对于自动洞穴绘图任务而言，本工作凸显了直接机械力反馈在流体环境中的关键作用，并为发展稳健的 underwater 探索系统提供了物理感知的机器学习框架。
引用
@article{arxiv.2511.04156,
title = {Deep reinforcement learning based navigation of a jellyfish-like swimmer in flows with obstacles},
author = {Yihao Chen and Yue Yang},
journal= {arXiv preprint arXiv:2511.04156},
year = {2025}
}