无先验地图的自主地面车辆深度强化学习探索
机器人学
2023-09-04 v2
摘要
自主地面车辆（AGVs）因其能在极少人工操作下于危险环境中作业，而成为广泛应用的重要工具。有效的运动规划对AGV成功运行至关重要。传统运动规划算法依赖环境特征的先验知识，在信息匮乏、动态变化的环境（如火灾和地震等紧急危险区，以及火星隧道和熔岩管等未勘探地下环境）中效用有限。我们提出一种深度强化学习（DRL）框架，用于无先验地图的智能AGV探索，利用Actor-Critic DRL算法直接从原始传感器数据在连续高维动作空间中学习策略。该DRL架构包含用于评论家和演员表示的前馈神经网络，其中演员网络根据当前状态输入制定线速度和角速度控制动作，由评论家网络评估并学习估计Q值以最大化累积奖励。三种离策略DRL算法DDPG、TD3和SAC在两种复杂度不同的环境中训练并比较，并在第三种无训练先验或地图特征知识的环境中进一步评估。结果表明，智能体在每轮训练结束时学习到最优策略，规划出快速无碰撞探索轨迹，并且可扩展，能够在不改变网络架构或超参数的情况下适应未知环境。最佳算法在真实三维环境中进一步评估。
引用
@article{arxiv.2301.04036,
title = {Deep Reinforcement Learning for Autonomous Ground Vehicle Exploration Without A-Priori Maps},
author = {Shathushan Sivashangaran and Azim Eskandarian},
journal= {arXiv preprint arXiv:2301.04036},
year = {2023}
}
备注
$\copyright$ 2023 the authors. This work has been accepted to Advances in Artificial Intelligence and Machine Learning for publication under a Creative Commons License CC BY 4.0