预训练视觉模型作为自动驾驶安全过滤器的感知骨干网络
计算机视觉与模式识别
2024-10-31 v1 机器学习
系统与控制
系统与控制
摘要
端到端的基于视觉的自动驾驶取得了令人瞩目的成功，但安全性仍然是一个主要问题。在低维环境中，已使用安全过滤器（例如基于控制屏障函数的过滤器）解决了安全控制问题。在自动驾驶的高维环境中，为基于视觉的控制器设计安全过滤器同样可以缓解安全问题，但挑战性显著增加。在本文中，我们受预训练视觉表示模型作为机器人控制策略骨干网络的成功启发，通过使用冻结的预训练视觉表示模型作为感知骨干网络来设计基于视觉的安全过滤器，以应对这一挑战。我们在此背景下实证评估了四种常见预训练视觉模型的离线性能。由于表示空间上的动力学未知，我们尝试了三种现有的用于训练黑箱动力学安全过滤器的方法。我们使用了 DeepAccident 数据集，该数据集包含来自 CARLA 中模拟真实事故场景的车辆上多个摄像头的动作标注视频。我们的结果表明，我们方法产生的过滤器与那些获得自车及其环境真实状态的过滤器相比具有竞争力。
引用
@article{arxiv.2410.22585,
title = {Pre-Trained Vision Models as Perception Backbones for Safety Filters in Autonomous Driving},
author = {Yuxuan Yang and Hussein Sibai},
journal= {arXiv preprint arXiv:2410.22585},
year = {2024}
}