面向多状态退化和深度强化学习的下水道管道维护策略
机器学习
2024-07-19 v1 人工智能
计算工程、金融与科学
摘要
大规模基础设施系统对社会福祉至关重要，其有效管理需要考虑各种复杂性的战略预测和干预方法。我们的研究聚焦于 Prognostics and Health Management (PHM) 框架下应用于下水道资产的两个挑战：建模管道在不同严重程度下的退化，以及制定有效的维护策略。我们采用多状态退化模型 (MSDM) 表示下水道管道的随机退化过程，并使用深度强化学习 (DRL) 制定维护策略。阿尔坯士荷兰下水道网络的案例研究体现了我们的 methodology。我们的发现表明，该模型在生成智能、节省成本的维护策略方面有效，超越了启发式方法。它根据管道的年龄调整其管理策略，对于较新的管道采用被动方法，对于较旧的管道转为积极策略，以防止故障并降低成本。该研究突显了 DRL 在优化维护策略方面的潜力。未来研究将致力于改进模型，包括部分可观测性、探索各种强化学习算法，并将该方法扩展到综合性基础设施管理。
引用
@article{arxiv.2407.12894,
title = {Maintenance Strategies for Sewer Pipes with Multi-State Degradation and Deep Reinforcement Learning},
author = {Lisandro A. Jimenez-Roa and Thiago D. Simão and Zaharah Bukhsh and Tiedo Tinga and Hajo Molegraaf and Nils Jansen and Marielle Stoelinga},
journal= {arXiv preprint arXiv:2407.12894},
year = {2024}
}