在可证明安全的强化学习中利用解析梯度
机器学习
2026-05-08 v4 人工智能
机器人学
摘要
在安全关键型应用中部署自主机器人需要安全保证。可证明安全的强化学习是一个活跃的研究领域，旨在使用安全防护机制提供此类保证。这些安全防护机制应在训练期间集成，以缩小仿真到现实的差距。尽管已有多种基于采样的强化学习的安全防护方法，但基于解析梯度的强化学习通常能以更少的环境交互实现更优的性能。然而，目前尚无针对这种学习范式的安全防护方法。我们的工作通过开发首个有效的基于解析梯度的强化学习安全防护机制填补了这一空白。我们分析了现有的可微安全防护机制，通过修改的映射和梯度公式对其进行调整，并将它们集成到最先进的学习算法和可微仿真中。通过在三个控制任务上的数值实验，我们评估了不同的安全防护机制如何影响学习。结果表明，安全防护训练不会损害性能。更多可视化结果请见 timwalter.github.io/safe-agb-rl.github.io。
引用
@article{arxiv.2506.01665,
title = {Leveraging Analytic Gradients in Provably Safe Reinforcement Learning},
author = {Tim Walter and Hannah Markgraf and Jonathan Külz and Matthias Althoff},
journal= {arXiv preprint arXiv:2506.01665},
year = {2026}
}
备注
21 pages, 10 figures