基于图像正则化的深度强化学习自主微型赛车动作平滑方法
机器人学
2023-08-14 v2 系统与控制
系统与控制
摘要
深度强化学习在低层控制任务中已取得显著成果。然而，对于自动驾驶与无人机飞行等应用，由于智能体可能突然改变其动作，往往降低控制系统效率、引起过度机械磨损并导致车辆不可控的危险行为，难以稳定控制其行为。近来，一种称为动作策略平滑条件化（CAPS）的方法被提出，用于解决四旋翼无人机等应用中低维特征的抖动问题。为应对高维特征，本文提出基于图像的动作平滑正则化（I-RAS），以解决自主微型赛车中的抖动控制问题。我们还引入一种基于冲击比的控制，一种自适应正则化权重以控制平滑约束，称为IR控制。实验中，带有I-RAS与IR控制的智能体将成功率从59%显著提升至95%。在真实赛道实验中，该智能体同样优于其他方法，即在无需真实世界训练的情况下减少了平均完圈时间，同时提高了完成率。基于I-RAS的智能体赢得2022年AWS DeepRacer总决赛冠军杯也印证了这一点。
引用
@article{arxiv.2307.08230,
title = {Image-based Regularization for Action Smoothness in Autonomous Miniature Racing Car with Deep Reinforcement Learning},
author = {Hoang-Giang Cao and I Lee and Bo-Jiun Hsu and Zheng-Yi Lee and Yu-Wei Shih and Hsueh-Cheng Wang and I-Chen Wu},
journal= {arXiv preprint arXiv:2307.08230},
year = {2023}
}
备注
Accepted to IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)2023