下一代储备池计算中数值不稳定性的出现
机器学习
2025-11-18 v2 机器学习
动力系统
数据分析、统计与概率
摘要
下一代储备池计算 (NGRC) 是一种从数据中预测混沌时间序列的低成本机器学习方法。计算效率对于可扩展的储备池计算至关重要，需要更好的策略来降低训练成本。在这项工作中，我们揭示了 NGRC 特征矩阵（由时滞坐标上的多项式评估形成）的数值条件数与长期 NGRC 动力学之间的联系。我们表明，NGRC 可以在没有正则化的情况下进行训练，从而减少计算时间。我们的贡献是双重的。首先，融合数值线性代数和动力系统遍历理论的工具，我们系统地研究了特征矩阵条件数如何随超参数变化。我们证明，对于短时滞、高次多项式和短训练数据长度，NGRC 特征矩阵往往是病态的。其次，我们评估了不同数值算法（Cholesky 分解、奇异值分解 (SVD) 和 LU 分解）对求解正则化最小二乘问题的影响。我们的结果表明，基于 SVD 的训练无需正则化即可实现准确预测，与其他算法相比更为可取。
引用
@article{arxiv.2505.00846,
title = {On the emergence of numerical instabilities in Next Generation Reservoir Computing},
author = {Edmilson Roque dos Santos and Erik Bollt},
journal= {arXiv preprint arXiv:2505.00846},
year = {2025}
}
备注
23 pages, 14 figures