受生物启发的人工神经网络睡眠算法
神经与进化计算
2019-08-07 v1
摘要
睡眠在生物系统的增量学习与记忆巩固中扮演重要角色。受生物网络中已知参与睡眠生成过程的启发，我们开发了一种在人工神经网络（ANNs）中实现类睡眠阶段的算法。在初始训练阶段后，我们将ANN转换为脉冲神经网络（SNN），并使用依赖于脉冲时序的可塑性规则模拟离线的类睡眠阶段以修改突触权重。随后SNN被转回ANN，并在新输入上评估或训练。我们在应用于MNIST、CUB200及一个启发性玩具数据集上训练的ANN后展示了若干性能提升。首先，在增量学习框架中，睡眠能够恢复那些在无睡眠阶段的ANN中因灾难性遗忘而遗忘的旧任务。其次，睡眠导致对未见任务的前向迁移学习。最后，睡眠提升了ANN对含各类噪声图像的分类泛化能力。我们为类脑睡眠阶段对ANN的有益作用提供了理论基础，并给出了在未来深度学习ANN中实现睡眠多样特征的一种算法途径。总体而言，这些结果表明生物睡眠可帮助缓解ANN所患的若干问题，如增量学习的 poor泛化与灾难性遗忘。
引用
@article{arxiv.1908.02240,
title = {Biologically inspired sleep algorithm for artificial neural networks},
author = {Giri P Krishnan and Timothy Tadros and Ramyaa Ramyaa and Maxim Bazhenov},
journal= {arXiv preprint arXiv:1908.02240},
year = {2019}
}