DEFENDER：基于DTW演示轨迹过滤以增强强化学习安全性
机器学习
2023-05-09 v1 人工智能
摘要
由于试错学习所带来的风险，在现实世界中部署强化学习智能体可能具有挑战性。我们提出一种任务无关的方法，利用小规模的安全与不安全演示集来提升强化学习智能体在学习过程中的安全性。该方法在每一步将智能体当前轨迹与两组演示进行比较，若其与不安全演示相似则过滤该轨迹。我们对不同过滤策略进行了消融研究，并考察了演示数量对性能的影响。我们的方法与任何独立的强化学习算法兼容，并可应用于任意任务。我们在 OpenAI Gym 的 Mujoco 基准的三个任务以及两种最先进的强化学习算法上评估了该方法。结果表明，我们的方法显著降低了智能体的崩溃率，同时收敛到独立智能体的性能，且在大多数情况下甚至有所提升。
引用
@article{arxiv.2305.04727,
title = {DEFENDER: DTW-Based Episode Filtering Using Demonstrations for Enhancing RL Safety},
author = {André Correia and Luís Alexandre},
journal= {arXiv preprint arXiv:2305.04727},
year = {2023}
}