用于在线数据增量学习的自调节神经发生

神经网络在学习任务序列或数据流时常常面临灾难性遗忘的问题，而人类则不同，即使没有明确的提示，人类也能持续学习并巩固新概念。在线数据增量学习试图通过仅处理每个样本一次来模拟这种能力，且在任何时刻都无法获取任务或数据流提示，因为这与离线设置相比更符合现实；在离线设置中，假设来自新类别的所有数据都是现成可用的。然而，现有方法通常依赖于在内存中存储数据子集或扩展初始模型架构，从而导致显著的计算开销。受“自调节神经发生”——大脑为不同功能创建专门区域或回路的机制——启发，我们提出了一种新方法SERENA，该方法将每个概念编码在称为“概念细胞”的专门网络路径中，并集成到单个过参数化网络内。一旦某个概念被学习，其对应的概念细胞就会被冻结，从而有效防止对先前已获取信息的遗忘。此外，我们引入了两个新的持续学习场景，这些场景以样本量逐渐变化为特征，更贴近现实世界条件。实验结果表明，我们的方法不仅在十个基准上取得了新的SOTA结果，而且显著超越了离线有监督批量学习的性能。代码可在 https://github.com/muratonuryildirim/serena 获取。