面向深强化学习的 6-DOF 自主水下车能感知位置控制：初步结果
机器人学
2025-02-26 v1 机器学习
系统与控制
系统与控制
摘要
自主水下车（AUV）在勘测、制图和检查未探索的水下区域方面发挥着关键作用，其中操控性和功率效率是延长这些平台使用寿命的关键因素，使得 6 自由度（6-DOF）全向平台成为必不可少的工具。尽管比例-积分-微分控制（PID）和模型预测控制（MPC）控制器在这些应用中广泛使用，但它们往往需要准确的系统知识，在遭遇有效载荷或配置变化时重复性差，调试耗时。虽然更先进的基于深强化学习（DRL）的方法已有提出，但通常仅限于较少的自由度。本文提出一种 novel DRL 方法，用于控制全向 6-DOF AUV，采用 Truncated Quantile Critics（TQC）算法，无需手动调参，即可直接向推力模块发出命令且无需其配置知识。此外，它将功耗直接纳入奖励函数。仿真结果表明，TQC High-Performance 方法在到达目标点方面性能优于经微调的 PID 控制器，而 TQC Energy-Aware 方法虽性能略低，但平均功耗降低约 30%。
引用
@article{arxiv.2502.17742,
title = {Toward 6-DOF Autonomous Underwater Vehicle Energy-Aware Position Control based on Deep Reinforcement Learning: Preliminary Results},
author = {Gustavo Boré and Vicente Sufán and Sebastián Rodríguez-Martínez and Giancarlo Troni},
journal= {arXiv preprint arXiv:2502.17742},
year = {2025}
}
备注
6 pages, 5 figures, submitted to 2024 IEEE OES AUV Symposium