NORACL：面向无 Oracle 资源自适应持续学习的神经生成

Karthik Charan Raghunathan; Christian Metzner; Laura Kriener; Melika Payvand

NORACL：面向无 Oracle 资源自适应持续学习的神经生成

机器学习 2026-05-01 v1 人工智能神经与进化计算

作者: Karthik Charan Raghunathan , Christian Metzner , Laura Kriener , Melika Payvand

摘要

在持续学习设置中，我们需要模型在学习新任务时具备足够的塑性，同时不扰乱先前学习的能力。我们认为，这种困境源于架构层面。有限的网络在表征和塑性资源上有限，但所需容量取决于未来任务流中未知的属性：将遇到多少个任务，以及它们在特征空间中的重叠程度如何。基于正则化的方法在固定容量的架构上保留过去的知识，因此隐式地依赖于为此未知未来预先设定的 Oracle 架构。当任务之间关系较弱时，固定的架构会逐渐耗尽塑性资源；当任务数量较少或强烈重叠时，模型往往会过度配置。受生物学中神经发生启发，我们提出了 NORACL 通过处理神经元增长来解决稳定性-塑性困境，从而解决 Oracle 架构问题。从紧凑的网络开始，NORACL 在监控表示和塑性饱和的两个互补信号时，仅在需要时进行增长。我们在不同任务数量和几何形态下对 NORACL 与 Oracle 规模的静态基线进行评估。在所有设置下，NORACL 实现的平均最终准确率均优于或与 Oracle 配置的静态基线相当，同时使用的参数更少。此外，NORACL 产生可解释的增长架构，即不相似的任务主要在特征提取层扩展，而依赖于共同特征的任务则将增长转向后期特征组合层。我们的分析进一步解释了为何固定容量网络会随着任务累积而丧失塑性，而 NORACL 通过增长为新任务创建新的容量。总之，这些结果表明，自适应神经发生推动了持续学习的稳定性-塑性 Pareto 前沿。

关键词

持续学习稳定性-塑性困境神经发生自适应网络增长资源自适应学习

引用

@article{arxiv.2604.27031,
  title  = {NORACL: Neurogenesis for Oracle-free Resource-Adaptive Continual Learning},
  author = {Karthik Charan Raghunathan and Christian Metzner and Laura Kriener and Melika Payvand},
  journal= {arXiv preprint arXiv:2604.27031},
  year   = {2026}
}

备注

23 pages, 6 figures and 3 tables

NORACL：面向无 Oracle 资源自适应持续学习的神经生成

摘要

关键词

引用

备注

相关论文