受控遗忘：尖峰神经网络中用于无监督终身学习的靶向刺激与多巴胺可塑性调制
神经与进化计算
2020-01-29 v2 机器学习
摘要
随机梯度下降要求训练样本从数据的均匀随机分布中抽取。对于必须从不受控且未知的环境中进行在线学习的已部署系统，输入样本的顺序常不能满足该准则，使得终身学习任务成为一项艰巨挑战。我们利用无监督尖峰时序依赖可塑性（STDP）学习规则的局部性，靶向尖峰神经网络（SNN）中的局部表征以适应新信息，同时保护 SNN 其余部分中的关键信息免受灾难性遗忘。在我们的受控遗忘网络（CFNs）中，新信息触发受刺激放电和异质调制可塑性，其受生物多巴胺信号启发，以引起与离群信息相关神经元突触的快速且孤立的适应。这种靶向以某种方式控制遗忘过程，在学习的旧任务精度下降减小的同时学习新任务。我们在 MNIST 数据集上的实验结果验证了 CFNs 随时间从未知、变化环境中成功学习的能力，达到了 95.36% 的准确率，我们相信这是固定尺寸、单层 SNN 在完全不相交 MNIST 数据集上所达到的最佳无监督准确率。
引用
@article{arxiv.1902.03187,
title = {Controlled Forgetting: Targeted Stimulation and Dopaminergic Plasticity Modulation for Unsupervised Lifelong Learning in Spiking Neural Networks},
author = {Jason M. Allred and Kaushik Roy},
journal= {arXiv preprint arXiv:1902.03187},
year = {2020}
}