基于局部正则化正交前向回归构建的 Echo-state 网络读出层
机器学习
2012-07-03 v3 统计方法学
摘要
Echo-state 网络 (ESN) 被视为具有伪随机参数的时间非正交展开。此类展开自然会产生与教师输出具有不同相关性的回归量。我们阐明，通常只有部分生成的 echo-回归量能有效解释教师输出的方差，且仅靠局部正则化无法提供关于生成回归量重要性的深入信息。因此，重要性是通过联合计算个体方差贡献和贝叶斯相关性，利用局部正则化正交前向回归 (LROFR) 算法来确定的。这些信息可被有利地用于多种方式，以深入分析 ESN 结构及其状态空间参数与底层问题未知动力学之间的关系。我们提出了使用 LROFR 构建的局部正则化线性读出层。该读出层的维度可能与 ESN 模型本身不同，除了提高 ESN 的鲁棒性和准确性外，它还将 echo-回归量与训练数据的不同特征联系起来，并可确定何种类型的附加读出层适合手头任务。此外，鉴于线性读出层的灵活性存在局限且有时对某些任务可能不足，我们还提出了使用 LROFR 构建的径向基函数 (RBF) 读出层。这是一种灵活且简约的读出层，具有出色的泛化能力，是基于前馈神经网络 (FFNN) 或使用相关性向量机 (RVM) 构建的 RBF 网络的读出层的可行替代方案。
引用
@article{arxiv.1110.4304,
title = {Readouts for Echo-state Networks Built using Locally Regularized Orthogonal Forward Regression},
author = {Ján Dolinský and Kei Hirose and Sadanori Konishi},
journal= {arXiv preprint arXiv:1110.4304},
year = {2012}
}
备注
12 pages, pre-print