安全强化学习中低维安全区域学习的数据生成方法
系统与控制
2021-09-14 v1 机器学习
机器人学
系统与控制
摘要
安全强化学习旨在学习控制策略的同时，确保系统与环境在学习过程中均不受损。为在高度非线性高维动力学系统上实现安全强化学习，一种可行方法是通过数据驱动特征提取方法寻找低维安全区域，为学习算法提供安全性估计。由于所学安全性估计的可靠性依赖于数据，我们在本工作中研究不同训练数据如何影响安全强化学习方法。通过在学习性能与不安全风险之间取得平衡，提出了一种结合两种采样方法的数据生成方法以生成代表性训练数据。以一个三连杆倒立摆为例展示了该方法的性能。
引用
@article{arxiv.2109.05077,
title = {Data Generation Method for Learning a Low-dimensional Safe Region in Safe Reinforcement Learning},
author = {Zhehua Zhou and Ozgur S. Oguz and Yi Ren and Marion Leibold and Martin Buss},
journal= {arXiv preprint arXiv:2109.05077},
year = {2021}
}