面向持续学习的高效架构搜索
机器学习
2020-06-11 v2 人工智能
机器学习
摘要
基于神经网络的持续学习是人工智能中一种重要的学习框架，旨在良好地学习一系列任务。然而，它常面临三个挑战：（1）克服灾难性遗忘问题，（2）使当前网络适应新任务，同时（3）控制其模型复杂度。为达成这些目标，我们提出一种名为高效架构搜索持续学习（简称 CLEAS）的新方法。CLEAS 与神经架构搜索（NAS）紧密协作，利用强化学习技术搜索适配新任务的最佳神经架构。具体而言，我们设计了一个神经元级 NAS 控制器，决定应重用先前任务中的哪些旧神经元（知识迁移），以及应添加哪些新神经元（学习新知识）。这种细粒度控制器使人能以非常简洁的架构良好拟合每个新任务。同时，由于我们不改变被重用神经元的权重，我们完美记忆了从先前任务学到的知识。我们在众多连续分类任务上评估 CLEAS，结果表明 CLEAS 优于其他当前最优替代方法，在采用更简神经架构的同时取得更高分类准确率。
引用
@article{arxiv.2006.04027,
title = {Efficient Architecture Search for Continual Learning},
author = {Qiang Gao and Zhipeng Luo and Diego Klabjan},
journal= {arXiv preprint arXiv:2006.04027},
year = {2020}
}
备注
12 pages, 11 figures