回声状态网络的高效交叉验证
机器学习
2020-07-13 v1 机器学习
摘要
回声状态网络（ESNs）以其对时间序列快速且精确的单次学习能力而闻名。但它们通常需要良好的超参数调优才能达到最佳性能。为此，有效的验证至关重要，但通常仅使用单次验证划分。在这篇偏重实践应用的论文中，我们提出了几种对ESN进行交叉验证的方案，并引入了一种高效算法来实现它们。在我们提出的执行k折交叉验证的方法中，主导本已相当快速的ESN训练时间复杂度的那部分计算量保持不变（不随k值增加而扩展）。随k值线性扩展的那部分计算量仅在少数不太常见的情况下才开始占据主导。因此，在许多情况下，对ESN进行k折交叉验证的时间复杂度几乎与简单的单次划分验证相同。空间复杂度也可以保持不变。我们还讨论了所提出的ESN验证方案在何种情况下可能有益，并在多个不同的真实世界数据集上对其进行了实证研究。
引用
@article{arxiv.1908.08450,
title = {Efficient Cross-Validation of Echo State Networks},
author = {Mantas Lukoševičius and Arnas Uselis},
journal= {arXiv preprint arXiv:1908.08450},
year = {2020}
}
备注
Accepted in ICANN'19 Workshop on Reservoir Computing