具有矩阵表示的循环神经网络的记忆容量
机器学习
2023-10-06 v3 人工智能
计算复杂性
摘要
众所周知，标准循环神经网络（RNN）在学习长期依赖方面存在局限，而长短期记忆（LSTM）网络中的记忆结构已解决了该问题。神经图灵机（NTM）是一种新颖的 RNN，其以神经网络控制器实现可编程计算机的概念，能够学习简单的算法任务。矩阵神经网络采用矩阵表示，与使用基于向量表示的标准神经网络相比，其固有地保留了数据的空间结构。由此可认为，具有矩阵表示的神经网络可能具备提供更高记忆容量的潜力。本文中，我们基于 Fisher 信息定义并研究了矩阵型 RNN 记忆容量的概率性概念。我们在不同假设下给出了此类网络记忆容量的界，并与基于向量的对应网络进行比较。特别地，我们证明此类网络的记忆容量以 为界（对 状态矩阵），推广了向量网络已知的结果。我们还展示并分析了当引入外部状态记忆（如 NTM）时此类网络记忆容量的提升。进而，我们构建了以矩阵表示外部记忆的 RNN 控制器 NTM，由此引入矩阵神经图灵机（Matrix NTM）。我们在复制与召回等特定算法学习任务下展示了该类记忆网络的性能，并与矩阵 RNN 比较。我们发现，相较于矩阵 RNN，添加外部记忆后矩阵 NTM 性能有所提升。
引用
@article{arxiv.2104.07454,
title = {Memory Capacity of Recurrent Neural Networks with Matrix Representation},
author = {Animesh Renanse and Alok Sharma and Rohitash Chandra},
journal= {arXiv preprint arXiv:2104.07454},
year = {2023}
}