Bresa：基于生物学反射机制的安全强化学习用于接触丰富的机器人任务

确保基于强化学习（RL）的机器人系统在结构化环境中进行接触丰富任务的安全性是一项关键挑战。虽然最先进的安全 RL 方法通过安全探索或高层恢复机制来缓解风险，但它们常常忽视了低层执行安全性，而在后者中，针对潜在危险的反射性响应至关重要。类似地，变量阻抗控制（VIC）通过调整机器人的机械响应来增强安全性，但缺乏系统方法来调整参数，如刚度和阻尼 throughout 任务。本文提出了 Bresa，这是一种受生物学反射机制启发的生物学反射层次安全 RL 方法。我们的方法将任务学习与安全学习解耦，包含一个评估动作风险的安全评论家网络，其运行频率高于任务求解器。与现有基于恢复的方法不同，我们的安全评论家在低层控制层上运行，可在危险条件出现时进行实时干预。任务解决 RL 策略以较低频率运行，专注于高层规划（决策），而安全评论家确保即时安全纠正。我们在多个任务上验证了 Bresa，包括一个接触丰富的机器人任务，展示了其反射性以增强安全性和适应不可预见动态环境的能力。我们的结果表明，Bresa 超过了基线，提供了一种稳健且反射性的安全机制，弥合了高层规划与低层执行之间的鸿沟。实际实验和补充材料可在项目网站 https://jack-sherman01.github.io/Bresa 查看。