利用深度强化学习与自动课程学习实现 intra-logistics 无地图导航
机器人学
2022-03-17 v2 机器学习
摘要
我们提出一种深度强化学习方法，用于解决仓储场景中的无地图导航问题。在我们的方法中，一台自动导引车配备LiDAR与前向RGB传感器，并学习执行定向导航任务。挑战在于学习正样本稀疏、多模态传感器感知伴随部分可观测性、对精确转向操作的需求以及长训练周期。针对这些点，我们提出NavACL-Q作为一种自动课程学习方法，并结合分布式版本的soft actor-critic算法。该学习算法的性能在一个未见过的仓储环境中进行了详尽评估，以验证所学策略的鲁棒性与泛化能力。NVIDIA Isaac Sim中的结果表明，我们的训练智能体显著优于NVIDIA Isaac Sim提供的基于地图的导航流水线，在智能体-目标距离增加3m、初始相对智能体-目标旋转角放宽45度时仍表现更优。消融研究还表明，NavACL-Q极大促进了学习过程，相较随机起点训练性能提升约40%，且使用预训练特征提取器明显带来约60%的性能提升。
引用
@article{arxiv.2202.11512,
title = {Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics},
author = {Honghu Xue and Benedikt Hein and Mohamed Bakr and Georg Schildbach and Bengt Abel and Elmar Rueckert},
journal= {arXiv preprint arXiv:2202.11512},
year = {2022}
}