预算约束下多年资产管理的分层深度强化学习框架
人工智能
2025-07-28 v1 机器学习
系统与控制
系统与控制
最优化与控制
摘要
预算规划和维护优化对基础设施资产管理至关重要，可确保成本效益和可持续性。然而，组合动作空间、多样的资产劣化、严格的预算约束以及环境不确定性带来的复杂性，显著限制了现有方法的可扩展性。本文提出了一种专为多年基础设施规划定制的分层深度强化学习方法。我们的方法将问题分解为两个层次：在明确的可行性边界内分配年度预算的高层预算规划器，以及在分配的预算内对资产进行优先级排序的低层维护规划器。通过将宏观预算决策与资产级优先级排序进行结构性分离，并在分层 Soft Actor-Critic 框架内集成线性规划投影，该方法有效解决了动作空间的指数级增长，并确保了严格的预算合规性。评估不同规模（10、15 和 20 个汇水区）污水管网案例研究表明了所提方法的有效性。与传统的 Deep Q-Learning 和增强遗传算法相比，我们的方法收敛更快，能有效扩展，并且即使网络规模增长，也能持续提供近最优解。
引用
@article{arxiv.2507.19458,
title = {Hierarchical Deep Reinforcement Learning Framework for Multi-Year Asset Management Under Budget Constraints},
author = {Amir Fard and Arnold X. -X. Yuan},
journal= {arXiv preprint arXiv:2507.19458},
year = {2025}
}