使用神经进化对深度递归连接和记忆细胞的实证探索
神经与进化计算
2019-10-01 v3
摘要
由于设计最优人工神经网络（ANN）所涉及的挑战，神经进化和神经架构搜索算法已获得越来越多的关注。虽然这些算法已被证明具有超越最佳人工设计架构的潜力，但它们一个不太常见的用途是作为分析 ANN 结构组件和连接结构的工具。在这项工作中，我们专注于这一特定用例，利用被称为增强记忆模型进化探索（EXAMM）的新型神经进化过程，开发一个严格的检查和比较框架，用于分析应用于时间序列预测的递归神经网络（RNN）。具体来说，我们使用基于 EXAMM 的分析来研究递归记忆细胞的能力，以及由跨越一个或多个时间步长的各种复杂递归连接模式（即深度递归连接）所提供的泛化能力。在本研究中，EXAMM 被用于在 5,280 次重复实验中训练超过 1056 万个 RNN，这些实验具有不同的组件。虽然许多现代的、通常是手工设计的 RNN 依赖于复杂的记忆细胞（其内部递归连接仅跨越单个时间步长），其操作假设是这些细胞足以锁存信息并处理长期依赖关系，但我们的结果表明，进化出深度递归连接的网络性能显著优于没有这些连接的网络。更重要的是，在某些情况下，性能最佳的 RNN 仅由简单神经元和深度时间跳跃连接组成，没有任何记忆细胞。这些结果强烈表明，在用于时间序列数据预测的 RNN 中利用深度时间跳跃连接不仅值得进一步的专门研究，而且还证明了神经进化作为更好地研究、理解和训练有效 RNN 的一种手段的潜力。
引用
@article{arxiv.1909.09502,
title = {An Empirical Exploration of Deep Recurrent Connections and Memory Cells Using Neuro-Evolution},
author = {Travis J. Desell and AbdElRahman A. ElSaid and Alexander G. Ororbia},
journal= {arXiv preprint arXiv:1909.09502},
year = {2019}
}
备注
14 pages