Learning Contextual Runtime Monitors for Safe AI-Based Autonomy
机器学习
2026-04-03 v3 人工智能
系统与控制
系统与控制
摘要
我们提出了一种 novel 框架，用于学习面向上下文的运行时监视器，以确保 AI 控制系统的安全。机器学习（ML）控制器正因其解决复杂决策任务的能力而日益部署于（自主） cyber-physical 系统中，但其准确率在陌生环境中可能急剧下降，造成重大安全隐患。传统集成方法通过对多个控制器进行平均或投票来提高鲁棒性，但这往往会稀释各个控制器在不同操作上下文中所展现的专长。我们认为，与其合并控制器输出，不如构建监视框架以识别并利用这些上下文特性。本文将安全的 AI 控制集成重新表述为上下文监控问题。监视器持续观察系统的上下文，并选择适用于当前条件的控制器。为实现此目标，我们将监视器学习作为一个上下文学习任务，借鉴上下文多臂老虎机技术。我们的方案具有两个关键优势：（1）在控制器选择期间提供理论安全保证；（2）提高控制器多样性的利用率。在两个仿真自主驾驶场景中，我们的框架在安全性和性能方面均显著优于非上下文基线方法。
引用
@article{arxiv.2601.20666,
title = {Learning Contextual Runtime Monitors for Safe AI-Based Autonomy},
author = {Alejandro Luque-Cerpa and Mengyuan Wang and Emil Carlsson and Sanjit A. Seshia and Devdatt Dubhashi and Hazem Torfah},
journal= {arXiv preprint arXiv:2601.20666},
year = {2026}
}