具有正交正则化的可扩展可微分双记忆用于无样本持续学习

持续学习方法过去常常迫使神经网络孤立地处理顺序任务，阻止它们利用有用的任务间关系，并导致它们重复学习相似特征或过度区分这些特征。为了解决这个问题，我们提出了一种完全可微、无样本、可扩展的方法，由两个互补的记忆组成：一个学习可用于所有任务的通用特征，另一个结合共享特征来学习每个样本独有的判别性特征。两个记忆都是可微的，因此网络可以自主地为每个样本学习潜在表示。对于每个任务，记忆调整模块自适应地修剪关键槽并以最小程度扩展容量以容纳新概念，而正交正则化强制保留和新学习的记忆组件之间的几何分离以防止干扰。在CIFAR-10、CIFAR-100和Tiny-ImageNet上的实验表明，所提出的方法在类增量学习方面优于14种最先进的方法，最终准确率分别达到55.13%、37.24%和30.11%。额外的分析证实，通过有效的知识整合和利用，所提出的方法可以提高顺序任务的平均性能，并产生最接近上限的特征提取结果，从而在持续学习中建立了新的里程碑。