面向深度强化学习的改进型长短期记忆污水处理模拟器
机器学习
2024-03-25 v1 人工智能
系统与控制
系统与控制
摘要
尽管深度强化学习（DRL）在机器人学和游戏领域取得了卓越成果，但将其应用于污水处理等工业过程的优化仍具挑战性。挑战之一在于缺乏一个能尽可能准确地代表实际工厂的仿真环境来训练 DRL 策略。污水处理数据的随机性和非线性导致模型在长时间范围内的预测不稳定且不正确。模型仿真行为不正确的一个可能原因与复合误差问题有关，即误差在整个仿真过程中的累积。复合误差的产生是因为模型在每个时间步都将其自身的预测作为输入。实际数据与预测之间的误差随着仿真的继续而累积。我们实施了两种方法来改进针对污水处理数据训练的模型，从而得到了更精确的模拟器：1- 在训练步骤中使用模型的预测数据作为输入，作为一种校正工具；2- 改变损失函数以考虑长期预测的形状（动力学）。实验结果表明，实施这些方法可以将模拟器在全年的时间尺度上的动态时间规整行为相比基础模型提升高达 98%。这些改进展示了在创建生物过程模拟器方面的巨大潜力，这类模拟器无需过程的先验知识，而完全依赖于从系统获得的时间序列数据。
引用
@article{arxiv.2403.15091,
title = {Improved Long Short-Term Memory-based Wastewater Treatment Simulators for Deep Reinforcement Learning},
author = {Esmaeel Mohammadi and Daniel Ortiz-Arroyo and Mikkel Stokholm-Bjerregaard and Aviaja Anna Hansen and Petar Durdevic},
journal= {arXiv preprint arXiv:2403.15091},
year = {2024}
}