使用时序度量预测的学习组件系统安全监控

在具备学习能力的自主系统中，对学习组件的安全监控至关重要，以确保其输出不会导致系统安全违规，这取决于系统的运行上下文。然而，为实际部署开发安全监控器具有挑战性，原因在于对学习组件的内部运作和训练数据的访问受限。此外，安全监控器应能以低延迟预测安全违规，同时消耗合理的计算资源。为应对这些挑战，我们提出了一种基于概率时间序列预测的安全监控方法。给定学习组件的输出和运行上下文，我们实证研究了不同的基于深度学习(DL)的概率预测方法，以预测捕捉安全需求满足或违反的客观度量（安全度量）。我们使用自主航空和自主驾驶案例研究，实证评估了四种最先进模型的安全度量和违规预测准确性、推理延迟和资源使用情况，并考虑了不同的预测视界。我们的结果表明，基于学习组件输出和场景的安全度量概率预测对于安全监控是有效的。此外，在两个案例研究中，Temporal Fusion Transformer (TFT) 在预测即将发生的安全违规方面最为准确，且延迟和资源消耗可接受。