SEAL：用于增量学习的搜索可扩展架构

增量学习是一种机器学习范式，其中模型从顺序的任务流中学习。该设置提出了一个关键挑战：在保持稳定性（保留过去知识）和塑性（学习新任务）之间取得平衡。神经网络架构搜索 (NAS) 是 AutoML 的一个分支，自动化设计深度神经网络的架构，并在静态设置中取得成功。然而，现有的 NAS 基于增量学习的方法通常依赖于在每个任务上扩展模型，在资源受限的环境中往往不够实用。本文我们引入了 SEAL，一个针对数据增量学习的 NAS 框架，即数据样本是离散的顺序到达且不存储供以后访问。SEAL 通过在必要时仅扩展来动态适应模型结构，基于容量估计指标。通过每次扩展后的交叉蒸馏训练来保持稳定性。NAS 组件同时搜索架构和最佳扩展策略。跨多个基准的实验表明，SEAL 在保持较低模型大小的同时，有效减少遗忘并提高准确率。这些结果凸显了将 NAS 和选择性扩展结合用于增量场景中高效、自适应学习的前景。