确保强化学习组件安全性：AMLAS-RL
机器学习
2025-07-15 v1 人工智能
机器人学
软件工程
摘要
机器学习（ML）的快速发展导致其日益增加地集成到跨越不同领域的网络-物理系统（CPS）中。尽管CPS提供了强大的能力，但引入ML组件会带来显著的安全和保证挑战。在ML技术中，强化学习（RL）特别适合用于CPS，因为它能够处理复杂的动态环境，在这些环境中，系统与环境之间相互作用的显式模型要么不可用，要么难以构建。然而，在安全关键应用中，这一学习过程不仅要有效，而且要确保是可证明的安全。安全强化学习方法旨在通过在学习过程中引入安全约束来解决这一问题，但它们在整个RL生命周期中缺乏系统性的保证。AMLAS方法为确保监督学习组件的安全提供了结构化指导，但并未直接适用于RL所面临的独特挑战。本文改编AMLAS，提供一个通过迭代过程为RL启用系统生成保证论证的框架；AMLAS-RL。我们使用一个运行示例演示AMLAS-RL：一个被动任务于在不发生碰撞的情况下到达目标目标的 wheeled vehicle。
引用
@article{arxiv.2507.08848,
title = {Assuring the Safety of Reinforcement Learning Components: AMLAS-RL},
author = {Calum Corrie Imrie and Ioannis Stefanakos and Sepeedeh Shahbeigi and Richard Hawkins and Simon Burton},
journal= {arXiv preprint arXiv:2507.08848},
year = {2025}
}