软演员-评论家算法在含时间延迟的污水处理优化中的应用
系统与控制
2025-03-28 v1 人工智能
机器学习
系统与控制
摘要
污水处理厂因其复杂的动态特性、缓慢的时间常数以及观测和动作中的随机延迟，给过程控制带来了独特的挑战。这些特性使得传统的控制方法（如比例-积分-微分控制器）在实现高效除磷（污水处理中确保环境可持续性的关键环节）方面表现欠佳。本研究采用一种新颖的深度强化学习方法应对这些挑战，该方法基于软演员-评论家算法，并结合一个定制的模拟器，该模拟器旨在模拟污水处理厂固有的延迟反馈。该模拟器集成了长短期记忆网络，用于准确的多步状态预测，以模拟现实的训练场景。为考虑延迟的随机性，智能体在三种延迟场景下进行训练：无延迟、固定延迟和随机延迟。结果表明，在强化学习框架中引入随机延迟显著提高了除磷效率，同时降低了运营成本。具体而言，在模拟环境中，与延迟感知的智能体相比，传统控制方法在磷排放量上减少了36%，奖励值高出55%，目标偏差（相对于监管限值）低77%，总成本低9%。这些发现凸显了强化学习在克服污水处理中传统控制策略局限性方面的潜力，为除磷提供了一种自适应且经济高效的解决方案。
引用
@article{arxiv.2411.18305,
title = {Application of Soft Actor-Critic Algorithms in Optimizing Wastewater Treatment with Time Delays Integration},
author = {Esmaeel Mohammadi and Daniel Ortiz-Arroyo and Aviaja Anna Hansen and Mikkel Stokholm-Bjerregaard and Sebastien Gros and Akhil S Anand and Petar Durdevic},
journal= {arXiv preprint arXiv:2411.18305},
year = {2025}
}