不确定性下基于安全屏障证书的深度控制策略安全性考量
机器人学
2020-03-03 v2
摘要
深度机器学习的最新进展已显示出通过强化学习和模仿学习等方法解决复杂感知与控制回路的潜力。然而，由于部分可观测性以及难以刻画神经网络行为等问题，保证此类习得深度策略的安全性一直是一项挑战。尽管安全学习的大量重点放在训练期间，但在部署或测试时保证安全性并非易事。本文拓展了在温和假设下，尽管存在由感知和其他潜变量引起的不确定性，安全屏障证书（Safety Barrier Certificates）如何用于保证深度控制策略安全性的研究。具体而言，对于动力学平滑且不确定性具有有限支撑的场景，所提框架环绕现有深度控制策略，通过动态评估并修改来自嵌入网络策略来生成安全动作。我们的框架利用控制屏障函数（control barrier functions）创建在不确定性下安全的控制动作空间，当发现原始动作违反安全约束时，使用二次规划（quadratic programming）对原始动作进行最小修改以确保其位于安全集中。环境表示通过欧几里得符号距离场构建，并用于推断动作安全性及保证前向不变性。我们在无人机竞速环境的仿真中实现该方法，结果表明与仅依赖模仿学习生成控制动作的基线相比，我们的方法产生了更安全的动作。
引用
@article{arxiv.2001.08198,
title = {Safety Considerations in Deep Control Policies with Safety Barrier Certificates Under Uncertainty},
author = {Tom Hirshberg and Sai Vemprala and Ashish Kapoor},
journal= {arXiv preprint arXiv:2001.08198},
year = {2020}
}