面向生成式记忆的吸引子动力学学习
机器学习
2018-11-26 v1 人工智能
机器学习
摘要
记忆系统面临的一个核心挑战是在其他已存储模式与噪声造成干扰的情况下稳健地检索出所存储的模式。吸引子动力学为稳健检索提供了理论上完备的解决方案，它在回忆过程中迭代地清理模式。然而，将吸引子动力学引入现代深度学习系统存在困难：吸引子盆地的特征是梯度消失，而这已知会使神经网络训练变得困难。在本工作中，我们通过训练一个生成式分布式记忆而不模拟吸引子动力学来避免梯度消失问题。基于 Kanerva Machine 中提出的将记忆写入视为推断的思想，我们表明，通过最大化生成式记忆的变分下界，会涌现出一个基于似然的 Lyapunov 函数。实验表明，它在迭代检索时收敛到正确模式，并作为记忆模型与生成模型均取得了有竞争力的性能。
引用
@article{arxiv.1811.09556,
title = {Learning Attractor Dynamics for Generative Memory},
author = {Yan Wu and Greg Wayne and Karol Gregor and Timothy Lillicrap},
journal= {arXiv preprint arXiv:1811.09556},
year = {2018}
}