回声状态网络交叉验证的高效实现

背景/引言：交叉验证(CV)在时间序列建模中仍不常见。回声状态网络(ESNs)作为储备池计算(RC)模型的典型代表，以其快速而精确的一次性学习著称，且常受益于良好的超参数调优。这使其成为改变现状的理想选择。方法：我们讨论针对预测特定感兴趣时间区间的时间序列交叉验证，提出几种用于回声状态网络交叉验证的方案，并介绍一种实现这些方案的高效算法。该算法以对$k$折CV的两级优化形式给出。训练一个RC模型通常包括两个阶段：(i)用数据驱动储备池，(ii)计算最优读出。我们优化的第一级针对计算代价最高的部分(i)，使其不随$k$变化而保持恒定。它在任何类型的RC系统中都能大幅减少储备池计算量，且在$k$较小时已足够。第二级优化同样使(ii)部分不随较大的$k$变化而保持恒定，只要输出维度较低。我们讨论了所提出的ESN验证方案何时有益、生成最终模型的三种选项，并在六个不同真实世界数据集上进行了实证调研，同时做了实证计算时间实验。我们在在线代码仓库中提供了代码。结果：所提出的CV方案在全部六个不同真实世界数据集、三种任务类型上给出了更好且更稳定的测试性能。实证运行时间证实了我们的复杂度分析。结论：在大多数情况下，ESNs及许多其他RC模型的$k$折CV几乎可以以与简单单次划分验证相同的时间和空间复杂度完成。这使得CV有望成为RC中的标准实践。