一种生物启发的双稳态循环单元实现长时记忆
神经与进化计算
2021-07-14 v1 机器学习
摘要
循环神经网络（RNNs）在大量需要记忆的任务中提供最先进的性能。这些性能常可借助门控循环单元（GRU）与长短期记忆（LSTM）等门控循环单元实现。标准门控单元共享一层内部状态以在网络层面存储信息，而长期记忆由网络范围的循环连接权重塑造。另一方面，生物神经元能够通过称为双稳态的过程在细胞水平任意长时间地保持信息。通过双稳态，细胞可依据自身过去状态与输入稳定于不同稳定状态，从而允许在神经元状态中持久存储过去信息。本工作中，我们受生物神经元双稳态启发，为 RNN 嵌入细胞水平的长时记忆。这导致引入一种新的双稳态生物启发循环单元，其被证明在需要极长记忆的时间序列上强力提升 RNN 性能，尽管仅使用细胞连接（所有循环连接均从神经元到自身，即神经元状态不受其他神经元状态影响）。此外，为该单元配备循环神经调质可将它们与标准 GRU 单元关联，朝 GRU 的生物合理性迈出一步。
引用
@article{arxiv.2006.05252,
title = {A bio-inspired bistable recurrent cell allows for long-lasting memory},
author = {Nicolas Vecoven and Damien Ernst and Guillaume Drion},
journal= {arXiv preprint arXiv:2006.05252},
year = {2021}
}