安全感知强化学习（SARL）
机器学习
2020-10-07 v1 人工智能
摘要
随着强化学习智能体日益集成到复杂的真实世界环境中，安全性设计成为关键考量。我们专门研究智能体在执行主任务策略时可能引发不期望副作用的场景。由于可为给定环境动力学定义多个任务，存在两个重要挑战。首先，我们需要抽象出广泛适用于该环境且独立于所执行具体任务的安全概念。其次，我们需要一种机制，使抽象的安全概念能调节执行不同策略的智能体的动作以最小化其副作用。本工作中，我们提出安全感知强化学习（SARL）——一种由虚拟安全智能体调节基于奖励的主智能体动作以最小化副作用的框架。安全智能体学习给定环境的任务无关安全概念。随后主智能体以两智能体原生动作概率间距离为正则化损失进行训练。由于安全智能体通过其动作概率有效抽象了任务无关的安全概念，它可被移植以调节给定环境中求解不同任务的多种策略而无需进一步训练。我们将其与依赖任务特定正则化度量的方案对比，并在基于 Conway 生命游戏的 SafeLife Suite（包含动态环境中若干复杂任务）上测试框架。我们表明，我们的方案能在主目标与安全目标上匹配依赖任务特定副作用惩罚的方案性能，同时额外提供通用性与可移植性优势。
引用
@article{arxiv.2010.02846,
title = {Safety Aware Reinforcement Learning (SARL)},
author = {Santiago Miret and Somdeb Majumdar and Carroll Wainwright},
journal= {arXiv preprint arXiv:2010.02846},
year = {2020}
}