现实世界中的 GVFs:为水处理进行在线预测

本文研究了基于强化学习的预测方法在某真实饮用水处理厂中的应用。开发这样的预测系统是优化与自动化水处理过程中的关键一步。在此之前,需要回答许多关于数据可预测性、合适的神经网络架构、如何克服部分可观测性等问题。我们首先描述该数据集,并突出其在季节性、非平稳性、部分可观测性以及传感器和工厂运行模式异质性方面的挑战。然后我们描述一般价值函数(General Value Function, GVF)预测——观测的折扣累积和——并阐述其相对于时间序列预测中常见的经典 n 步预测的优势。我们讨论如何利用离线数据来恰当地预训练学习这些 GVF 预测的时序差分学习(TD)智能体,包括如何为部署中的在线微调选择超参数。我们发现 TD 预测智能体相比 n 步预测智能体获得了整体更低的归一化均方误差。最后,我们通过将纯离线训练且不进行在线更新的 TD 智能体与进行在线学习的 TD 智能体进行比较,展示了部署中学习的重要性。这一最终结果首次有力地表明,在现实世界中针对非平稳、大流量系统进行实时自适应预测的重要性。