持续剪枝与选择：基于专用子网络的类增量学习
机器学习
2023-01-18 v2 人工智能
计算机视觉与模式识别
摘要
人脑能够顺序学习任务且基本不会遗忘。然而，深度神经网络（DNN）在逐一学习任务时会遭受灾难性遗忘。我们考虑类增量学习场景，其中 DNN 在不知测试数据所属任务的情况下接收测试数据，以应对该挑战。训练期间，Continual-Prune-and-Select（CP&S）在 DNN 中寻找负责给定任务的子网络。随后在推理时，CP&S 选择正确的子网络对该任务进行预测。新任务通过学习 DNN 中可用的神经元连接（先前未训练）经剪枝创建新子网络来学习，其可包含属于其他子网络的先前训练连接，因为不更新共享连接。这通过在 DNN 中创建互不冲突的专用区域，同时仍允许知识迁移，消除了灾难性遗忘。CP&S 策略以不同子网络选择策略实现，在多个数据集（CIFAR-100、CUB-200-2011、ImageNet-100 和 ImageNet-1000）上展现出优于最先进持续学习方法的性能。特别地，CP&S 能够顺序学习 ImageNet-1000 的 10 个任务，保持约 94% 准确率且遗忘可忽略，这是类增量学习中前所未有的结果。据作者所知，与最佳替代方法相比，这代表了超过 10% 的准确率提升。
引用
@article{arxiv.2208.04952,
title = {Continual Prune-and-Select: Class-incremental learning with specialized subnetworks},
author = {Aleksandr Dekhovich and David M. J. Tax and Marcel H. F. Sluiter and Miguel A. Bessa},
journal= {arXiv preprint arXiv:2208.04952},
year = {2023}
}