利用单形体架构提升深度学习驱动自主系统的安全性

近年来，神经网络在诸多任务中取得的卓越性能，使得其在机器人和车辆等自主系统中的部署日益增多。然而，神经网络尚不可信，容易出现异常样本、分布迁移、对抗攻击及其他威胁。此外，加速神经网络推理的框架通常运行在富功能操作系统上，这类系统在时序行为上的可预测性较差，且攻击面更大。为此，本文提出一种软件架构，以提升基于学习的自主系统的安全性、可信度和可预测性。该架构采用两个隔离的执行域：一个专用于在不可信的富功能操作系统上执行神经网络，另一个负责运行安全关键功能，可使用不同具备实时约束能力的操作系统。两者均部署于同一计算平台，通过类型Ⅰ实时超visor实现快速且可预测的跨域通信，以交换实时数据。两域协同工作，构建容错机制：安全监控器监控系统状态，当检测到行为不可信时，便切换到托管在安全关键域中的简单但更安全的备用模块。通过在福尔塔姆摆锤和巡航器等两个控制系统上的实验验证，结果表明该架构在防止由学习组件引发的故障方面具有实际效用。