梦境神经网络：遗忘伪记忆与强化纯记忆
神经与进化计算
2018-10-30 v1 无序系统与神经网络
数学物理
math.MP
摘要
用于联想神经网络的标准 Hopfield 模型解释了生物 Hebbian 学习，并充当模式识别的谐振子，但其最大存储容量为 α ∼ 0.14，远小于对称网络的理论界 α=1。受哺乳动物大脑睡眠与做梦机制启发，我们提出该模型的扩展，其具有标准的在线（清醒）学习机制（允许以模式形式存储外部信息）与离线（睡眠）反学习&巩固机制（允许伪模式移除与纯模式强化）：该获得的日常方案能够饱和理论界 α=1，且对热噪声也极为鲁棒。我们从解析与数值两方面分析神经与突触特征。特别地，除获得神经动力学相图外，我们聚焦突触可塑性，并给出突触矩阵时间演化的显式方案。我们解析证明，算法以高概率使 Hebbian 核收敛到建于纯存储模式上的投影矩阵。此外，我们得到确保该收敛的“睡眠率”的尖锐显式估计。最后，我们运行广泛数值模拟（主要为 Monte Carlo 采样）以检验解析研究背后的近似（例如，我们在所谓的复本对称水平上发展整体理论，如 Amit-Gutfreund-Sompolinsky 参考框架中的标准做法）与可能的有限尺寸效应，发现与理论总体完全一致。
引用
@article{arxiv.1810.12217,
title = {Dreaming neural networks: forgetting spurious memories and reinforcing pure ones},
author = {Alberto Fachechi and Elena Agliari and Adriano Barra},
journal= {arXiv preprint arXiv:1810.12217},
year = {2018}
}
备注
31 pages, 12 figures