GenSafe: 基于降阶马尔可夫决策过程模型的安全强化学习算法通用安全增强器
人工智能
2025-01-15 v2 机器学习
机器人学
系统与控制
系统与控制
摘要
安全强化学习旨在通过引入安全约束，为深度强化学习算法实现安全的学习过程。然而，安全强化学习方法的有效性通常依赖于精确的函数逼近，这在学习初期由于数据不足而尤其难以实现。为解决此问题，本文引入了一种新颖的通用安全增强器，它能够克服数据不足的挑战并提升安全强化学习方法的性能。利用模型降阶技术，我们首先提出了一种创新方法，构建一个降阶马尔可夫决策过程作为原始安全约束的低维近似器。然后，通过求解重新表述的基于降阶马尔可夫决策过程的约束，GenSafe 优化智能体的动作以增加满足约束的可能性。本质上，GenSafe 充当了安全强化学习算法的附加安全层。我们在多种安全强化学习方法和基准问题上评估了 GenSafe。结果表明，GenSafe 能够提升安全性能，尤其是在学习初期，同时保持令人满意的任务性能。我们提出的 GenSafe 不仅为增强现有安全强化学习方法提供了一种新措施，而且展示了与各种安全强化学习算法的广泛兼容性，使其适用于广泛的系统和安全强化学习问题。
引用
@article{arxiv.2406.03912,
title = {GenSafe: A Generalizable Safety Enhancer for Safe Reinforcement Learning Algorithms Based on Reduced Order Markov Decision Process Model},
author = {Zhehua Zhou and Xuan Xie and Jiayang Song and Zhan Shu and Lei Ma},
journal= {arXiv preprint arXiv:2406.03912},
year = {2025}
}