通过 ADRC 拉格朗日方法增强强化学习中的安全性
机器学习
2026-01-27 v1
摘要
安全强化学习旨在最大化奖励的同时满足安全约束，通常通过基于拉格朗日的方法来解决。然而，现有的方法（包括 PID 和经典拉格朗日方法）由于参数敏感性和固有的相位滞后，会产生振荡并频繁违反安全约束。为了解决这些局限性，我们提出了 ADRC-Lagrangian 方法，该方法利用自抗扰控制以增强鲁棒性并减少振荡。我们的统一框架将经典和 PID 拉格朗日方法作为特例包含在内，同时显著提高了安全性能。大量实验表明，我们的方法将安全违规减少了高达 74%，约束违规幅度减少了 89%，平均成本减少了 67%，确立了其在复杂环境中用于安全强化学习的卓越有效性。
引用
@article{arxiv.2601.18142,
title = {Enhance the Safety in Reinforcement Learning by ADRC Lagrangian Methods},
author = {Mingxu Zhang and Huicheng Zhang and Jiaming Ji and Yaodong Yang and Ying Sun},
journal= {arXiv preprint arXiv:2601.18142},
year = {2026}
}