SNAP：利用S形神经元自适应可塑性阻止Hebbian学习中的灾难性遗忘
神经与进化计算
2024-10-22 v1 人工智能
机器学习
摘要
人工神经网络(ANNs)遭受灾难性遗忘，即新任务的学习会导致旧任务的灾难性遗忘。现有的机器学习(ML)算法，包括使用随机梯度下降(SGD)和Hebbian学习的算法，通常根据经验线性地更新其权重，即独立于其当前强度。这与生物神经元形成对比，生物神经元在中等强度时具有很强的可塑性，但一旦达到一定强度，就会通过长时程增强(LTP)进行巩固。我们假设这一机制可能有助于缓解灾难性遗忘。我们引入了S形神经元自适应可塑性(SNAP)，这是一种针对ANNs的长时程增强的人工近似，通过使权重遵循S形增长行为，使得权重在达到足够大或足够小的值时能够巩固和稳定。然后，我们将SNAP与线性权重增长和指数权重增长进行比较，发现SNAP完全阻止了Hebbian学习中先前任务的遗忘，但对于基于SGD的学习则不然。
引用
@article{arxiv.2410.15318,
title = {SNAP: Stopping Catastrophic Forgetting in Hebbian Learning with Sigmoidal Neuronal Adaptive Plasticity},
author = {Tianyi Xu and Patrick Zheng and Shiyan Liu and Sicheng Lyu and Isabeau Prémont-Schwarz},
journal= {arXiv preprint arXiv:2410.15318},
year = {2024}
}
备注
6 pages, 11 figures, accepted at Montr\'eal AI and Neuroscience (MAIN) 2024 conference