用于避免分布外故障的不确定性感知潜在安全过滤器

生成式世界模型的最新进展使得经典安全控制方法（如哈密顿-雅可比可达性分析）能够推广到直接从高维传感器观测运行的复杂机器人系统。然而，在世界模型训练期间获得对所有安全关键场景的全面覆盖极具挑战性。因此，建立在这些模型之上的潜在安全过滤器可能会遗漏新的危险，甚至无法预防已知的危险，过度自信地将有风险的分布外（OOD）情况错误分类为安全。为了解决这个问题，我们引入了一种不确定性感知的潜在安全过滤器，它能主动引导机器人远离已知和未知的故障。我们的核心思想是利用世界模型的认知不确定性作为识别未知潜在危险的代理。我们提出了一种基于共形预测校准不确定性阈值的原则性方法来检测分布外的世界模型预测。通过在包含潜在表示和认知不确定性的增广状态空间中执行可达性分析，我们合成了一种潜在安全过滤器，能够可靠地保护任意策略免受已知和未知安全危险的影响。在基于视觉控制的 Franka 机械臂任务的仿真和硬件实验中，我们展示了我们的不确定性感知安全过滤器能预先检测潜在的不安全场景，并可靠地提出安全的、分布内的动作。视频结果可在项目网站 https://cmu-intentlab.github.io/UNISafe 上找到。