面向终身学习的学-剪-享方法
机器学习
2020-12-15 v1 计算机视觉与模式识别
摘要
在终身学习中，我们希望在顺序到达的新分类任务出现时维护并更新一个模型（例如神经网络分类器）。本文中，我们提出一种学-剪-享（LPS）算法，同时应对灾难性遗忘、精简性和知识复用的挑战。LPS 通过基于 ADMM 的剪枝策略将网络拆分为任务特定分区。这实现了无遗忘，同时保持精简性。此外，LPS 将一种新颖的选择性知识共享方案集成到该 ADMM 优化框架中。这使得自适应知识共享得以端到端方式进行。我们提供了在两个终身学习基准数据集和一个具挑战性的真实世界射频指纹数据集上的综合实验结果，以证明方法的有效性。实验表明 LPS 持续优于多个最先进的竞争对手。
引用
@article{arxiv.2012.06956,
title = {Learn-Prune-Share for Lifelong Learning},
author = {Zifeng Wang and Tong Jian and Kaushik Chowdhury and Yanzhi Wang and Jennifer Dy and Stratis Ioannidis},
journal= {arXiv preprint arXiv:2012.06956},
year = {2020}
}
备注
Accepted to the IEEE International Conference on Data Mining 2020 (ICDM'20)