回声状态网络中输入与循环权重矩阵的学习
机器学习
2013-11-14 v1
摘要
回声状态网络 (ESNs) 是一种特殊的时间深度网络模型，即循环神经网络 (RNN)，其循环矩阵经过精心设计，且循环矩阵和输入矩阵均固定不变。ESN 利用输出单元激活函数的线性特性来简化输出矩阵的学习。在本文中，我们设计了一种特殊技术，利用 ESN 输出单元的这种线性特性来学习输入矩阵和循环矩阵。由于学习这些矩阵众所周知的困难性，早期的 ESN 尚未实现这一点。与学习通用 RNN 时的随时间反向传播 (BPTT) 技术相比，我们提出的方法利用输出单元激活函数的线性特性来构建 RNN 中各种矩阵之间的关系。这些关系使得代价函数的梯度具有解析形式且更为精确。这将使我们能够直接计算梯度，而不是像 BPTT 那样通过递归获取。电话状态分类的实验结果表明，在 ESN 中学习一个或两个输入及循环矩阵，相较于不学习这些矩阵的传统 ESN，能产生更优越的结果，尤其是在使用更长的时间步长时。
引用
@article{arxiv.1311.2987,
title = {Learning Input and Recurrent Weight Matrices in Echo State Networks},
author = {Hamid Palangi and Li Deng and Rabab K Ward},
journal= {arXiv preprint arXiv:1311.2987},
year = {2013}
}
备注
Deep Learning Workshop NIPS 2013