来自突触不确定性的贝叶斯元可塑性
机器学习
2023-12-19 v1 人工智能
摘要
灾难性遗忘仍然是神经网络的一个挑战，尤其是在终身学习场景中。在本研究中，我们引入了来自突触不确定性的元可塑性（MESU），其灵感来自元可塑性和贝叶斯推理原理。MESU利用突触不确定性随时间保留信息，其更新规则紧密近似于突触更新的对角牛顿法。通过在排列MNIST任务上的持续学习实验，我们展示了MESU在无需明确任务边界的情况下，在100个任务中保持学习性能的卓越能力。
引用
@article{arxiv.2312.10153,
title = {Bayesian Metaplasticity from Synaptic Uncertainty},
author = {Djohan Bonnet and Tifenn Hirtzlin and Tarcisius Januel and Thomas Dalgaty and Damien Querlioz and Elisa Vianello},
journal= {arXiv preprint arXiv:2312.10153},
year = {2023}
}