基于黑盒可达性分析的安全强化学习
机器人学
2022-11-22 v2 机器学习
系统与控制
系统与控制
摘要
强化学习(RL)能够在不确定环境中为机器人进行复杂的运动规划与控制。然而,最先进的深度 RL 方法通常缺乏安全性保证,尤其是在机器人与环境模型未知的情况下。为了证明广泛部署的合理性,机器人必须在不牺牲性能的前提下遵守安全约束。因此,我们提出了一种黑盒基于可达性的安全层(BRSL),其包含三个主要组件:(1)针对黑盒机器人模型的数据驱动可达性分析,(2)使用在线训练的神经网络的集成来预测未来动作与观测的轨迹展开规划器,以及(3)可达集与障碍物之间的可微多边形碰撞检测,能够修正不安全动作。在仿真中,BRSL 在 Turtlebot 3、四旋翼、轨迹跟踪点质量以及风场中带有邻近最高奖励区域的不安全集的六旋翼上优于其他最先进的安全 RL 方法。
引用
@article{arxiv.2204.07417,
title = {Safe Reinforcement Learning Using Black-Box Reachability Analysis},
author = {Mahmoud Selim and Amr Alanwar and Shreyas Kousik and Grace Gao and Marco Pavone and Karl H. Johansson},
journal= {arXiv preprint arXiv:2204.07417},
year = {2022}
}
备注
This paper is accepted at IEEE Robotics and Automation Letters and International Conference on Robotics and Automation (ICRA)