正则化、扩展与压缩:基于多任务的通过非扩张 AutoML 的终身学习
计算机视觉与模式识别
2019-03-21 v1 机器学习
摘要
终身学習,即任务按顺序到达的连续学习问题,近来在计算机视觉领域引起了更多关注。终身学习的目的是开发一个系统,能够在学习新任务的同时保持先前学习任务上的性能。然而,深度神经网络的终身学习存在两个障碍:灾难性遗忘和容量限制。为解决上述问题,受近期自动学习优良神经网络架构的突破启发,我们提出了一种基于多任务的通过非扩张 AutoML 的终身学习框架,称为正则化、扩展与压缩(REC)。REC 由三个阶段组成:1) 通过新提出的多任务权重巩固(MWC)算法,在无已学任务数据的情况下持续学习顺序任务;2) 通过基于网络变换的 AutoML 扩展网络,以潜在提升的模型能力和性能助力终身学习;3) 在每学习一个新任务后压缩扩展后的模型,以维持模型效率和性能。所提出的 MWC 和 REC 算法在四个不同数据集上取得了优于其他终身学习算法的性能。
引用
@article{arxiv.1903.08362,
title = {Regularize, Expand and Compress: Multi-task based Lifelong Learning via NonExpansive AutoML},
author = {Jie Zhang and Junting Zhang and Shalini Ghosh and Dawei Li and Jingwen Zhu and Heming Zhang and Yalin Wang},
journal= {arXiv preprint arXiv:1903.08362},
year = {2019}
}
备注
9 pages, 6 figures