基于动态可扩展网络的终身学习
机器学习
2018-06-12 v9
摘要
我们提出了一种用于终身学习的新型深度网络架构，称为动态可扩展网络（Dynamically Expandable Network, DEN），该网络在训练一系列任务时可以动态决定其网络容量，从而学习任务间紧凑的重叠知识共享结构。DEN 通过执行选择性重训练以在线方式高效训练，在每个任务到来时仅使用必要数量的单元动态扩展网络容量，并通过分裂/复制单元并为其添加时间戳来有效防止语义漂移。我们在终身学习场景下的多个公开数据集上验证了 DEN，它不仅显著优于现有的深度网络终身学习方法，而且以显著更少的参数数量达到了与批量对应方法相同的性能水平。此外，在所有任务上微调后得到的网络获得了比批量模型显著更好的性能，这表明即使所有任务一开始就可用，它也可以用于估计最优网络结构。
引用
@article{arxiv.1708.01547,
title = {Lifelong Learning with Dynamically Expandable Networks},
author = {Jaehong Yoon and Eunho Yang and Jeongtae Lee and Sung Ju Hwang},
journal= {arXiv preprint arXiv:1708.01547},
year = {2018}
}
备注
11 pages, 6 figures