面向安全保证的物理深度强化学习
机器学习
2023-03-30 v1 系统与控制
系统与控制
摘要
深度强化学习（DRL）已在许多具有高维状态空间和/或动作空间的自主系统复杂决策任务中取得巨大成功。然而，安全性与稳定性仍是阻碍DRL应用于安全关键自主系统的主要顾虑。为解决这些顾虑，我们提出了Phy-DRL：一种物理深度强化学习框架。Phy-DRL的新颖之处在于两项架构设计：i) 类李雅普诺夫奖励（Lyapunov-like reward），以及 ii) 残差控制（即基于物理模型的控制与数据驱动控制的结合）。并发的物理奖励与残差控制赋予了Phy-DRL（数学上）可证明的安全性与稳定性保证。通过对倒立摆的实验，我们表明Phy-DRL具有保证的安全性与稳定性以及增强的鲁棒性，同时实现了显著加速的训练和增大的奖励。
引用
@article{arxiv.2303.16860,
title = {Physical Deep Reinforcement Learning Towards Safety Guarantee},
author = {Hongpeng Cao and Yanbing Mao and Lui Sha and Marco Caccamo},
journal= {arXiv preprint arXiv:2303.16860},
year = {2023}
}
备注
Working Paper