基于异常状态序列的强化学习安全性研究
机器学习
2024-11-06 v1 人工智能
摘要
人工智能 (AI) 在决策应用中的部署需要确保其在包含大量未知观察值的变化环境中具有适当的安全性和可靠性。为此，我们提出了一种新颖的安全强化学习 (RL) 方法，利用异常状态序列来增强 RL 的安全性。我们提出的解决方案 Safe Reinforcement Learning with Anomalous State Sequences (AnoSeqs) 包含两个阶段。首先，在非安全关键的离线“源”环境中训练智能体以收集安全状态序列。接下来，使用这些安全序列构建异常检测模型，以检测“目标”安全关键环境中可能的异常状态序列，该环境中的故障可能造成高额成本。来自异常检测模型的估计风险用于训练目标环境中的风险规避 RL 策略；这涉及调整奖励函数以对访问由我们的异常模型判定为不安全的异常状态进行惩罚。在多个安全关键基准环境中的实验，包括自动驾驶汽车，我们的解决方案方法成功地学习了更安全的策略，并证明了顺序异常检测可为训练具有安全感知的 RL 智能体提供有效的监督信号。
引用
@article{arxiv.2407.19860,
title = {Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning},
author = {Leen Kweider and Maissa Abou Kassem and Ubai Sandouk},
journal= {arXiv preprint arXiv:2407.19860},
year = {2024}
}