在循环神经网络设计中利用共识激发作为计算记忆
神经与进化计算
2019-04-30 v1 机器学习
机器学习
摘要
本文设计并实验了一种新颖的循环神经网络（RNN）架构。所提出的 RNN 采用基于共识激发（stigmergy）概念的计算记忆。共识激发记忆（SM）的基本原理是：在 SM 中存入/移除某一量的活动会刺激后续的存入/移除活动。相应地，后续的 SM 活动倾向于相互增强/削弱，从而在 SM 活动与输入时间刺激之间产生连贯的协调。我们表明，在一个监督分类问题中，SM 通过协调存入、移除与分类活动，将时间输入编码为一种涌现的表征模型。本研究为 SM-RNN 的推导奠定了基础框架。文中讨论了 SM 的形式化本体，并详述了 SM-RNN 架构。为体会 SM-RNN 的计算能力，我们选取了对比神经网络并训练其解决 MNIST 手写数字识别基准的两个变体：空间变体（位图行序列）与时间变体（笔划序列）。
引用
@article{arxiv.1903.01341,
title = {Using stigmergy as a computational memory in the design of recurrent neural networks},
author = {Federico A. Galatolo and Mario G. C. A. Cimino and Gigliola Vaglini},
journal= {arXiv preprint arXiv:1903.01341},
year = {2019}
}