通过稀疏网络在持续学习中避免遗忘并允许前向迁移
机器学习
2022-07-07 v3 人工智能
摘要
在持续学习 (CL) 中于神经网络内使用任务特定组件，是在无历史数据条件下解决固定容量模型中稳定性–可塑性困境的一种引人注目的策略。现有方法仅关注为新任务选择减少过去任务遗忘的子网络。然而，这种选择可能限制有助于未来学习的相关过去知识的前向迁移。我们的研究表明，当对所有已见任务类别使用统一分类器——类增量学习 (class-IL)——时，联合满足两个目标更具挑战性，因为它易于出现跨任务类别间的歧义。此外，当跨任务类别的语义相似度增加时，挑战加剧。为应对此挑战，我们提出一种名为 AFAF 的新 CL 方法，旨在使用固定容量模型在类-IL 中避免遗忘并允许前向迁移 (Avoid Forgetting and Allow Forward transfer)。AFAF 分配一个子网络，在保留过去知识的同时实现对相关知识的Selective迁移至新任务，复用部分先前分配的组件以利用固定容量，并在存在相似性时解决类别歧义。实验表明，AFAF 在赋予模型多种 CL 期望属性方面有效，同时在具有不同语义相似度的各类挑战性基准上优于当前最优方法。
引用
@article{arxiv.2110.05329,
title = {Avoiding Forgetting and Allowing Forward Transfer in Continual Learning via Sparse Networks},
author = {Ghada Sokar and Decebal Constantin Mocanu and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:2110.05329},
year = {2022}
}
备注
Accepted at European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD 2022)