利用渐进式神经崩塌重新思考持续学习

持续学习（CL）旨在构建一个能够持续学习一系列任务的智能体，其中被称为灾难性遗忘的关键挑战由于不同任务之间的潜在知识干扰而持续存在。另一方面，深度神经网络（DNN）在训练期间被证明会收敛到一种称为神经崩塌的终端状态，在该状态下所有类原型在几何上形成一个静态的单纯形等角紧框架（ETF）。这些最大化且等距分离的类原型使得 ETF 成为 CL 中缓解知识干扰的理想模型学习目标。受此启发，最近出现了几项在 CL 中利用固定全局 ETF 的研究，然而这些方法存在关键缺陷，例如不可行性和有限的性能。为了应对这些挑战并充分释放 ETF 在 CL 中的潜力，我们提出了渐进式神经崩塌（ProNC），这是一个新颖的框架，完全消除了 CL 中对固定全局 ETF 的需求。具体而言，ProNC 以一种原则性的方式渐进地扩展 ETF 目标，通过将新类原型作为新任务的顶点添加进来，确保在所有已遇到的类之间实现最大可分性，同时与之前的 ETF 相比具有最小的偏移。接下来，我们通过将 ProNC 插入常用的 CL 算法设计中开发了一个新的 CL 框架，其中进一步利用蒸馏来平衡旧类的目标偏移和新类的目标对齐。大量实验表明，我们的方法在保持卓越的灵活性、简单性和效率的同时，显著优于相关的基线方法。我们的代码可在 https://github.com/Continue-Edge-AI-Lab/ProNC 获取。