CLASSP：基于权重调整抑制与稀疏性促进的持续学习生物仿生方法

本文介绍了一种新的生物仿生训练方法，名为通过权重调整抑制与稀疏性促进进行持续学习（Continual Learning through Adjustment Suppression and Sparsity Promotion，简称 CLASSP）。CLASSP 基于神经科学中观察到的两种主要原则，尤其是突触传递和长期增强（Long-Term Potentiation，简称 LTP）的背景下。第一种原则是对权重调整的衰减率，这通过对 AdaGrad 优化算法的一种推广来实现。这意味着接收了许多更新的权重应具有较低的学习率，因为它们可能编码了关于之前看到的重要数据的信息。然而，这一原则会导致模型中更新分布呈现扩散状态，因为它促进了尚未之前更新的权重进行更新，而稀疏更新分布更为可取，以便为未来任务保留未分配的权重。因此，第二种原则在损失梯度上引入阈值。这促进稀疏学习，通过仅当该权重相对于当前损失的梯度超过特定阈值时才更新该权重，即仅更新对当前损失具有显著影响的权重。这两种原则反映了在 LTP 中观察到的现象，其中观察到一种阈值效应和逐渐的增强饱和。CLASSP 被实现为一个 Python/PyTorch 类，使其可应用于任何模型。与弹性权重统一（Elastic Weight Consolidation，简称 EWC）进行比较时，在计算机视觉和情感分析数据集上，CLASSP 在准确率和内存占用方面表现出优势。