利用循环互信息最大化提升输入驱动循环神经网络的记忆能力
神经与进化计算
2018-03-15 v1 无序系统与神经网络
摘要
循环神经网络（RNNs）固有的瞬态动力学已被用作输入驱动 RNNs 中的计算资源。然而，信息处理能力因 RNN 而异，取决于其性质。许多作者研究了 RNN 的动力学及其与信息处理能力的相关性。在本研究中，我们对通过循环互信息最大化（RI）优化的 RNN 的信息处理能力进行了详细分析，RI 是一种通过调整网络连接强度来最大化 RNN 互信息的无监督学习方案。由此我们观察到，延迟线结构从 RI 中涌现，且经 RI 优化的网络具有优越的短期记忆，即在其瞬态动力学中存储输入流时间信息的能力。
引用
@article{arxiv.1803.05383,
title = {Use of recurrent infomax to improve the memory capability of input-driven recurrent neural networks},
author = {Hisashi Iwade and Kohei Nakajima and Takuma Tanaka and Toshio Aoyagi},
journal= {arXiv preprint arXiv:1803.05383},
year = {2018}
}