已部署持续学习系统的安全保障

海军未来的成功将在一定程度上依赖于人工智能。在实践中，许多人工智能算法，特别是深度学习模型，依赖持续学习以在动态环境中维持性能。软件需要适应以维持其在未知情境中的初始性能水平。然而，若监控不当，持续学习可能导致若干问题，包括灾难性遗忘——即训练好的模型在基于新数据重新训练时遗忘先前学习的任务。作者创建了一种安全执行持续学习的新框架，旨在将该安全框架与深度学习计算机视觉算法配对，以实现航母与两栖攻击舰上安全且高性能的自动甲板追踪。该安全框架包含若干特性：如执行图像分类的卷积神经网络集成、记录置信度并确定集成最优答案的管理器、预测系统可能不满足最低性能指标的环模型、记录系统与领域性能并对照需求进行检查的性能监视器，以及更新集成与管理器以维持性能的再训练组件。作者基于动态图像分类的广泛仿真研究验证了所提方法。作者表明该安全框架能够以概率方式检测分布外数据。结果还显示该框架可检测系统不再安全运行的时刻，并显著扩展图像分类器的工作包线。