Split-and-Bridge：单一神经网络内可适应的类增量学习
机器学习
2021-07-06 v1 人工智能
计算机视觉与模式识别
摘要
持续学习一直是深度学习领域的一个主要问题，其挑战在于如何有效学习一系列新到来的任务而不遗忘先前任务的知识。以Learning without Forgetting（LwF）为开端，许多现有工作指出知识蒸馏对保留先前知识有效，因此它们通常对旧任务使用软标签（即知识蒸馏（KD）损失），对新任务使用类标签（即交叉熵（CE）损失），从而构成单一神经网络的复合损失。然而，这种方法在单一网络内二者处于竞争关系时，因KD损失往往更强地影响目标函数，而难以通过CE损失学习知识。这在类增量场景中尤为关键，因为跨任务的知识以及新任务内的知识都只能由CE损失获取，且由于统一分类器的存在本质上需被学习。本文提出一种新颖的持续学习方法Split-and-Bridge，它通过将神经网络部分拆分为两个分区以分离训练新任务与旧任务，再重新连接以学习跨任务知识，成功解决了上述问题。在详尽的实验分析中，我们的Split-and-Bridge方法优于基于KD的持续学习中的最先进竞争者。
引用
@article{arxiv.2107.01349,
title = {Split-and-Bridge: Adaptable Class Incremental Learning within a Single Neural Network},
author = {Jong-Yeong Kim and Dong-Wan Choi},
journal= {arXiv preprint arXiv:2107.01349},
year = {2021}
}
备注
In AAAI-2021