强化学习的安全边界
机器学习
2024-10-10 v2 人工智能
系统与控制
系统与控制
摘要
任何自主控制器在某些情形下都是不安全的。定量识别这些不安全情形即将发生的能力，对于及时引入人工监督(例如在货运运输应用中)至关重要。本工作中，我们论证智能体情形的真实临界性可稳健地定义为在给定若干随机动作下奖励的平均减少量。可实时计算(即无需实际模拟随机动作影响)的代理临界性度量可与真实临界性比较，并展示如何借助这些代理度量生成安全边界，其将潜在错误动作的后果与预期的整体性能损失直接关联。我们在 Atari 环境中基于 APE-X 与 A3C 学到的策略评估了该方法，并展示安全边界如何随智能体接近失败状态而减小。将安全边界集成至已部署智能体的监控程序中，可实现灾难性情形的实时识别。
引用
@article{arxiv.2307.13642,
title = {Safety Margins for Reinforcement Learning},
author = {Alexander Grushin and Walt Woods and Alvaro Velasquez and Simon Khan},
journal= {arXiv preprint arXiv:2307.13642},
year = {2024}
}
备注
2 pages, 2 figures. Presented at the 2023 IEEE Conference on Artificial Intelligence (CAI), Santa Clara, CA