利用预训练视觉模型设计潜在安全滤波器
机器人学
2025-09-19 v1 计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
确保基于视觉的控制系统的安全性仍然是阻碍其在关键场景中部署的主要挑战。安全滤波器作为确保经典控制系统安全性的有效工具已受到越来越多的关注，但其在基于视觉的控制设置中的应用迄今为止仍有限。预训练视觉模型（PVR）已被证明是各种机器人领域中控制的有效感知骨干网络。在本文中，我们有兴趣研究它们在设计基于视觉的安全滤波器时的有效性。我们将它们用作定义失效集分类器的骨干网络、基于Hamilton-Jacobi（HJ）可达性的安全滤波器的骨干网络以及潜在世界模型的骨干网络。我们讨论了当训练它们作为骨干网络的模型时，从头训练、微调和冻结PVR之间的权衡。我们还评估了某个PVR是否在所有任务中均优于其他模型，评估了学习到的世界模型或Q函数是否更适合切换到安全策略的决策，并讨论了将这些PVR部署在资源受限设备上的实际考虑。
引用
@article{arxiv.2509.14758,
title = {Designing Latent Safety Filters using Pre-Trained Vision Models},
author = {Ihab Tabbara and Yuxuan Yang and Ahmad Hamzeh and Maxwell Astafyev and Hussein Sibai},
journal= {arXiv preprint arXiv:2509.14758},
year = {2025}
}