结合深度强化学习与时间序列预测增强电池储能套利

能源套利是电池运营商最盈利的收入来源之一，通过以不同价格买卖电力来产生收益。由于电价固有的不确定性，预测这些收益极具挑战性。近年来，深度强化学习（DRL）作为一种很有前景的工具崭露头角，能够通过在大量历史数据上进行训练来应对不确定性。然而，在无法获取未来电价的情况下，DRL 智能体只能对当前观察到的价格做出反应，而无法学会规划电池调度。因此，在本研究中，我们将 DRL 与深度学习中的时间序列预测方法相结合，以提升能源套利的性能。我们使用来自加拿大阿尔伯塔省的电价数据进行案例研究，该数据以不规则的价格尖峰和高度非平稳性为特征。即使部署了由卷积层、循环层和注意力模块组成的最先进的深度学习模型，该数据也极具预测挑战性。我们的结果表明，采用支持 DRL 的电池控制进行能源套利，仍能从这些不完美的预测中显著获益，但前提是必须结合多个预测步长的预测器。将未来 24 小时窗口的多个预测结果进行分组，与没有预测的实验相比，深度 Q 网络（DQN）的累积奖励增加了 60%。我们假设多个预测器尽管存在不完美之处，但能通过“多数投票”原则传达有关电价未来发展的有用信息，从而使 DRL 智能体能够学习到更有利可图的控制策略。