持续学习受益于多种睡眠机制：NREM、REM与突触缩减
神经与进化计算
2022-09-13 v1 机器学习
图像与视频处理
摘要
连续学习新任务与技能而不遗忘先前学习(即灾难性遗忘)是人工与生物神经网络共同面临的计算挑战，然而人工系统难以达到其生物对应物的水平。哺乳动物大脑在睡眠期间运用众多神经操作以支持持续学习。这些操作适于人工借鉴。本文研究将哺乳动物睡眠的三个不同组分共同建模如何影响人工神经网络的持续学习：(1)在非快速眼动(NREM)睡眠中观察到的真实记忆回放过程；(2)与REM睡眠相关的生成式记忆回放过程；(3)已被提出用于调节信噪比并支持神经维护的突触缩减过程。在持续学习CIFAR-100图像分类基准上评估性能时，我们发现纳入全部三种睡眠组分带来益处。训练期间最高准确率提升，且后期任务中的灾难性遗忘减少。尽管在网络训练过程中仍存在部分灾难性遗忘，但更高水平的突触缩减带来对早期任务的更好保持，并进一步促进后续训练中早期任务准确率的恢复。一个关键结论是，在考虑突触缩减水平时存在权衡——更激进的缩减更好保护早期任务，但较弱缩减增强学习新任务的能力。中间水平可在训练期间以最高总体准确率取得平衡。总体而言，我们的结果既为如何借鉴睡眠组分以增强人工持续学习系统提供了见解，也指出了未来神经科学睡眠研究可进一步推动此类系统的方向。
引用
@article{arxiv.2209.05245,
title = {Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling},
author = {Brian S. Robinson and Clare W. Lau and Alexander New and Shane M. Nichols and Erik C. Johnson and Michael Wolmetz and William G. Coon},
journal= {arXiv preprint arXiv:2209.05245},
year = {2022}
}
备注
9 pages, 12 figures, code available upon reasonable request. Corresponding author: William G. Coon ([email protected])