FFNB：用于深度持续视觉学习的无遗忘神经块
计算机视觉与模式识别
2021-11-23 v1
摘要
深度神经网络（DNN）近期在计算机视觉及若干相关领域取得了巨大成功。尽管有此进展，当前的神经架构仍受灾难性干扰（亦称遗忘）的困扰，阻碍了 DNN 的持续学习。虽然已提出若干最先进的方法来缓解遗忘，但这些现有方案要么高度僵化（如正则化），要么耗时耗内存（如回放）。文献中已提出一类基于动态网络的中间方法，在任务记忆与计算占用之间提供了合理平衡。本文中，我们设计了一种基于新型无遗忘神经块（FFNB）的持续学习动态网络架构。FFNB 在新任务上的特征训练通过一种新流程实现，该流程将底层参数约束在先前任务的零空间中，而分类器参数训练等价于 Fisher 判别分析。后者提供了一种有效的增量过程，从贝叶斯视角看也是最优的。训练所得特征与分类器进一步通过增量式“端到端”微调得到增强。在不同具有挑战性的分类问题上进行的广泛实验显示了所提方法的高有效性。
引用
@article{arxiv.2111.11366,
title = {FFNB: Forgetting-Free Neural Blocks for Deep Continual Visual Learning},
author = {Hichem Sahbi and Haoming Zhan},
journal= {arXiv preprint arXiv:2111.11366},
year = {2021}
}