关于序列到序列预测循环网络的一种新颖训练算法
机器学习
2021-06-29 v1
摘要
将序列映射到序列的神经网络（seq2seq）在机器翻译和语音识别方面取得了显著进展。其传统架构包括两个循环网络（RNs）和一个线性预测器。在本文中，我们对相应的算法进行了分析，并表明训练良好的预测网络的 RNs 参数彼此并不独立。它们的依赖性可用于显著提高网络有效性。传统的 seq2seq 算法需要大小与预测序列长度成正比的短期记忆。这一要求在神经科学背景下相当难以实现。我们提出了一种用于 seq2seq 预测网络的新型无记忆算法，并在时间序列预测的背景下将其与传统算法进行比较。我们表明，新算法比传统算法更鲁棒，并且预测精度更高。
引用
@article{arxiv.2106.14120,
title = {On a novel training algorithm for sequence-to-sequence predictive recurrent networks},
author = {Boris Rubinstein},
journal= {arXiv preprint arXiv:2106.14120},
year = {2021}
}
备注
8 pages, 4 figures