用于建模长期时间依赖的小批量学习策略：一项环境应用研究

在许多环境应用中，循环神经网络（RNNs）常用于对具有长期时间依赖的物理变量进行建模。然而，由于小批量训练，批次内训练片段之间的时间关系（批内）以及批次之间的时间关系（批间）未被考虑，这可能导致性能受限。有状态 RNNs 旨在通过批次间传递隐藏状态来解决此问题。由于有状态 RNNs 忽略批内时间依赖，在训练稳定性与捕获时间依赖之间存在权衡。本文对不同有状态 RNN 建模策略进行了定量比较，并提出了两种强制批内与批间时间依赖的策略。首先，我们通过将批次定义为训练片段的时间有序集合来扩展有状态 RNNs，从而实现批内时间信息的共享。尽管该方法显著提升了性能，但由于高度顺序化的训练，其训练时间大幅增加。为解决此问题，我们进一步提出一种新策略，即用训练片段起始时刻前一步的目标变量初值来扩充该训练片段。换言之，我们提供目标变量的初值作为额外输入，使网络能够专注于学习与该初值相关的变化。通过使用该策略，样本可以任意顺序传入（小批量训练），在保持性能的同时显著减少训练时间。在水文建模中验证我们的方法时，我们观察到，当这些方法应用于数值变化较缓慢的状态变量（如土壤水分和雪水当量）而非连续流动的通量变量（如河流流量）时，预测精度的提升最为显著。