用于受操作约束的强化学习的盾牌控制器单元 applied to remote microgrids
人工智能
2025-12-02 v1 机器学习
摘要
强化学习 (RL) 是一种强大的框架，用于在不确定性条件下优化复杂系统中的决策-making，这在现实环境中是一个至关重要的挑战，尤其是在能源转型的背景下。一个典型例子是为与主电网脱节的社区供电的远程微电网。实现此类系统的能源转型需要协调控制风力发电机等可再生能源，以及燃气发电机和电池，以在外生和间歇性负荷和风力条件下满足需求，同时最小化燃料消耗和电池退化。在许多情况下，这些系统必须遵守大量法规和复杂的运行约束。为确保 RL 智能体遵守这些约束，提供可解释的保证至关重要。本文引入盾牌控制器单元 (SCUs)，这是一种系统性且可解释的方法，利用对系统动力学的先验知识来确保约束满足。我们的盾牌合成方法旨在实现实际部署，将环境分解为层次结构，其中每个 SCUs 明确地管理一部分约束。我们在具有严格运行要求的远程微电网优化任务上展示了 SCUs 的有效性。拥有 SCUs 的 RL 智能体在不增加电池退化的前提下实现了 24% 的燃料消耗降低，超越了其他基线，同时满足所有约束。我们希望 SCUs 促进将 RL 安全应用于与能源转型相关的众多决策挑战。
引用
@article{arxiv.2512.01046,
title = {Shielded Controller Units for RL with Operational Constraints Applied to Remote Microgrids},
author = {Hadi Nekoei and Alexandre Blondin Massé and Rachid Hassani and Sarath Chandar and Vincent Mai},
journal= {arXiv preprint arXiv:2512.01046},
year = {2025}
}