丰富环境下自主系统的伪证
机器人学
2024-12-25 v1 系统与控制
系统与控制
摘要
验证依赖于自动控制器的自主计算机-物理系统(CPS)和人工智能(AI)代理的行为具有重要重要性。近年来,神经网络(NN)控制器展现出巨大的前景。然而,这些学习型控制器往往无法获得认证,可能导致系统出现不可预测或不安全的行为。为缓解此问题,大量工作致力于系统的自动验证。特别是,属于“黑盒测试”类别的工作依赖于重复系统仿真以查找违反规范的系统运行的反证。由于高保真仿真计算负荷较大,伪证方法的目标是最小化求解反证示例所需的仿真工作量(即NN推理查询)。这在被充分训练的控制器测试时往往是一个巨大的挑战。本工作为在不确定环境中运行的自主系统提供了一种新颖的伪证方法。我们特别关注在丰富的、语义定义的、开放式环境中运行的CPS,这些环境产生高度维度、仿真依赖的传感器观察。我们的方案引入了将伪证问题重新表述为为“元系统”规划轨迹的问题,后者封装并封装所检验的系统;我们称之为meta-planning方法。该表述可以使用标准采样基于运动规划技术(如RRT)求解,并可逐步整合领域知识以改进搜索。我们通过对一个带有NN控制器的避障自主汽车的伪证实验研究,表明meta-planning在替代方法方面表现出优越性能。
关键词
引用
@article{arxiv.2412.17992,
title = {Falsification of Autonomous Systems in Rich Environments},
author = {Khen Elimelech and Morteza Lahijanian and Lydia E. Kavraki and Moshe Y. Vardi},
journal= {arXiv preprint arXiv:2412.17992},
year = {2024}
}