内河船舶的两层强化学习：路径规划与跟踪
系统与控制
2024-08-22 v3 人工智能
系统与控制
摘要
本文提出一种基于深度强化学习（DRL）的、用于内河航道（IWs）上自主水面艇（ASVs）控制的现实模块化框架。该框架提升了操作安全性，包含两层：高层局部路径规划（LPP）单元与低层路径跟踪（PF）单元，各由一个 DRL 智能体组成。LPP 智能体负责在考虑动态船舶的情况下规划路径，弥补了当前研究空白。此外，LPP 智能体充分考虑了交通规则与航道几何形状。我们由此将时空循环神经网络架构新颖地应用于连续动作空间。LPP 智能体相较最先进的人工势场（APF）方法，将与其他船舶的最小距离平均提升 65%。PF 智能体执行低层执行器控制，同时考虑浅水影响以及风、浪、流等环境力。与比例-积分-微分（PID）控制器相比，PF 智能体仅产生 61% 的平均横向误差（MCTE），同时以所需绝对舵角衡量的控制 effort（CE）显著降低。最后，以德国北部易北河下游为例，并利用真实自动识别系统（AIS）轨迹建模他船行为，在仿真中联合验证了两个智能体。
引用
@article{arxiv.2307.16769,
title = {2-Level Reinforcement Learning for Ships on Inland Waterways: Path Planning and Following},
author = {Martin Waltz and Niklas Paulig and Ostap Okhrin},
journal= {arXiv preprint arXiv:2307.16769},
year = {2024}
}