具有可搜索扩展单元的终身学习
机器学习
2020-03-20 v1 计算机视觉与模式识别
机器学习
摘要
终身学习仍是一个开放问题。其主要困难之一是灾难性遗忘。许多动态扩展方法已被提出以解决该问题，但它们都对所有任务使用预定义结构的同质模型。通用的原始模型和扩展结构忽略了不同任务对不同的模型结构的需求，导致多任务的模型紧凑性较差，并造成模型尺寸随任务数量增加迅速增大。此外，它们无法在所有任务上取得最佳表现。为解决这些问题，本文通过将神经架构搜索引入终身学习，提出一种名为可搜索扩展单元(SEU)的新终身学习框架，其打破了预定义原始模型的需求，并为不同任务搜索特定的扩展单元，且不损害模型在不同任务上的性能。我们的方法可在无灾难性遗忘的情况下获得更紧凑的模型。在PMNIST、split CIFAR10数据集、split CIFAR100数据集和Mixture数据集上的实验结果实证表明，我们的方法能以小得多的模型实现更高准确率，其尺寸约为最先进方法的25-33%。
引用
@article{arxiv.2003.08559,
title = {Lifelong Learning with Searchable Extension Units},
author = {Wenjin Wang and Yunqing Hu and Yin Zhang},
journal= {arXiv preprint arXiv:2003.08559},
year = {2020}
}