可证明安全的强化学习：概念分析、综述与基准测试
机器学习
2023-11-21 v3
摘要
确保强化学习（RL）算法的安全性对于释放其在众多现实任务中的潜力至关重要。然而，原始 RL 及大多数安全 RL 方法并不能保证安全性。近年来，已有若干方法被提出以为 RL 提供硬性安全保证，这对于不安全动作可能引发灾难性后果的应用而言必不可少。尽管如此，目前尚缺乏对这类可证明安全的 RL 方法的全面比较。为此，我们引入了对现有可证明安全 RL 方法的分类，给出了连续与离散动作空间的概念基础，并对现有方法进行了实证基准测试。我们依据方法如何调整动作进行分类：动作替换、动作投影与动作掩蔽。在倒立摆与四旋翼稳定任务上的实验表明，尽管动作替换实现相对简单，却是这些应用中性能最优的方法。此外，在我们的实验中，每次触发安全验证时附加奖励惩罚改善了训练性能。最后，我们针对依据安全规范、RL 算法及动作空间类型选取可证明安全 RL 方法提供了实用指导。
引用
@article{arxiv.2205.06750,
title = {Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking},
author = {Hanna Krasowski and Jakob Thumm and Marlon Müller and Lukas Schäfer and Xiao Wang and Matthias Althoff},
journal= {arXiv preprint arXiv:2205.06750},
year = {2023}
}
备注
The published paper is available at https://openreview.net/forum?id=mcN0ezbnzO