神经网络的贝叶斯持续学习与遗忘
机器学习
2025-04-21 v1
摘要
生物突触能够轻松实现记忆保留与灵活性之间的平衡，而人工神经网络仍在不可避免的遗忘与不可避免的记忆之间受限。本文引入Metaplasticity from Synaptic Uncertainty（MESU），一种基于贝叶斯框架更新网络参数的 метод，依据其不确定性。这种方法允许原则性地组合学习与遗忘，确保关键知识被保留，而未使用或过时的信息逐渐释放。不同于标准贝叶斯方法——后者风险过度受限——以及依赖显式任务边界的流行持续学习方法，MESU能够无缝适应流式数据。它进一步提供可靠的epistemic不确定性估计，允许离群点检测，其唯一的计算开销在于多次抽样权重以提供proper的输出统计。在图像分类基准测试上实验表明，MESU缓解了不可避免的遗忘，同时保持对新任务的塑性。当在200个顺序排列的 permuted MNIST 任务中训练时，MESU在准确率、学习能力以及离群点数据检测方面均优于 established 持续学习技术。此外，由于其不依赖任务边界，MESU在广泛场景下均优于传统学习技术，用于 CIFAR-100 任务的增量训练。我们的结果统一了来自 metaplasticity、贝叶斯推断和 Hessian-based正则化的想法，为实现稳健、持久的学习提供了生物学启发的路径。
引用
@article{arxiv.2504.13569,
title = {Bayesian continual learning and forgetting in neural networks},
author = {Djohan Bonnet and Kellian Cottart and Tifenn Hirtzlin and Tarcisius Januel and Thomas Dalgaty and Elisa Vianello and Damien Querlioz},
journal= {arXiv preprint arXiv:2504.13569},
year = {2025}
}