面向类增量学习的神经架构搜索
机器学习
2019-09-17 v1 机器学习
摘要
在类增量学习中，模型从依次出现新类的连续数据流中持续学习。现有方法通常依赖手工设计的静态架构。这些方法容易出现容量饱和，因为神经网络泛化到新概念的能力受其固定容量的限制。为理解如何扩展持续学习器，我们关注类增量学习背景下的神经架构设计问题：在每个时间步，学习器必须通过选择最具竞争力的神经架构来优化其在迄今观察到的所有类上的性能。为解决该问题，我们提出持续神经架构搜索（CNAS）：一种autoML方法，利用类增量学习的顺序特性，在持续学习设置中高效且自适应地识别强架构。我们采用任务网络执行分类任务，并采用强化学习智能体作为架构搜索的元控制器。此外，我们应用网络变换从先前学习步迁移权重并缩减架构搜索空间规模，从而节省大量计算资源。我们在CIFAR-100数据集上于有限计算力（1块GPU）下的多种增量学习场景中评估CNAS。实验结果表明，CNAS优于针对整个数据集优化的架构。此外，CNAS比朴素使用现有autoML方法至少高效一个数量级。
引用
@article{arxiv.1909.06686,
title = {Neural Architecture Search for Class-incremental Learning},
author = {Shenyang Huang and Vincent François-Lavet and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:1909.06686},
year = {2019}
}
备注
8 pages, 10 Figures