HyperENTM：通过 HyperNEAT 进化可扩展的神经图灵机
人工智能
2017-10-16 v1 神经与进化计算
摘要
记忆增强神经网络的最新发展解决了需要长期记忆的序列问题，这些问题对传统神经网络来说是难以处理的。然而，当前的方法在扩展到大规模记忆和长序列方面仍然存在困难。在本文中，我们展示了如何通过基于 HyperNEAT 的神经图灵机（HyperENTM）以几何方式编码对记忆的访问。我们证明，使用间接的 HyperNEAT 编码允许在位向量复制任务中对小规模记忆向量进行训练，然后将此类训练中获得的知识应用于加速更大规模记忆向量的训练。此外，我们证明在某些情况下，训练用于复制大小为 9 的位向量的网络可以无需进一步训练即可扩展到大小为 1,000 的向量。虽然本文中的任务很简单，但这些结果可能会将带有外部记忆的网络所能解决的问题，扩展到具有更大记忆向量以及理论上无界记忆规模的问题。
引用
@article{arxiv.1710.04748,
title = {HyperENTM: Evolving Scalable Neural Turing Machines through HyperNEAT},
author = {Jakob Merrild and Mikkel Angaju Rasmussen and Sebastian Risi},
journal= {arXiv preprint arXiv:1710.04748},
year = {2017}
}