HyperMask：基于自适应超网络掩码的持续学习方法
机器学习
2024-05-27 v4 人工智能
摘要
人工神经网络在顺序训练多个任务时会遭受灾难性遗忘。许多持续学习（CL）策略正试图克服这一问题。其中最有效的方法是基于超网络的方法。超网络根据任务身份生成目标模型的权重。该模型的主要局限在于，在实践中，超网络可为后续任务生成完全不同的架构。为解决这一问题，我们采用彩票假说，该假说假定存在称为中奖彩票的稀疏子网络，能够保持整个网络的性能。在本文中，我们提出一种称为 HyperMask 的方法，它根据 CL 任务动态过滤目标网络。超网络生成半二值掩码以获得专用的目标子网络。此外，由于彩票假说，我们可以使用具有加权子网络的单一网络。根据任务的不同，某些权重的重要性可被动态增强，而其他权重可能被削弱。HyperMask 在多个 CL 数据集上取得了具有竞争力的结果，并且在某些场景中，无论任务身份是已知还是未知，都超越了最先进的分数。
引用
@article{arxiv.2310.00113,
title = {HyperMask: Adaptive Hypernetwork-based Masks for Continual Learning},
author = {Kamil Książek and Przemysław Spurek},
journal= {arXiv preprint arXiv:2310.00113},
year = {2024}
}