受大脑皮层启发的持续学习：功能任务网络的无监督实例化与恢复

块序列持续学习要求单一模型既要保护先前的解免受灾难性遗忘，又要在推理时无需任务标签即可高效推断哪个先前的解与当前输入匹配。我们提出了功能任务网络（FTN），一种受哺乳动物新皮层结构和动力学基序启发的参数隔离方法。类似于混合专家，该方法在大量小而深的网络上使用高维、自组织的二值掩码，其灵感来自锥体神经元的树突模型。该掩码通过三阶段过程生成：（1）在连续掩码上进行梯度下降以识别任务相关神经元，（2）平滑核使结果偏向空间连续性，（3）k-赢家通吃在固定容量预算下将所得群组二值化。如同混合专家，每个神经元是一个独立的深度网络，因此不相交的掩码给出严格不相交的梯度更新，提供了抵御灾难性遗忘的结构性保证。这一三阶段过程在单个梯度步骤中恢复先前训练任务的子网络，在推理时提供无监督任务分割。我们在三个持续学习基准上对其进行了测试：（1）合成多任务分类/回归生成器，（2）带有打乱类标签的 MNIST（纯概念漂移），以及（3）Permuted MNIST（域漂移）。在所有三个基准上，使用细粒度平滑的 FTN（FTN-Slow）实现了近乎零遗忘。使用大核且仅进行2次平滑迭代的 FTN（FTN-Fast）以牺牲部分保留率换取速度的提升。我们表明，空间组织机制将有效掩码搜索从组合 top-k 子集问题的 $O(C(H,K))$ 复杂度降低至在紧凑皮层邻域上进行近线性扫描的 $O(H)$ 复杂度，并通过基于梯度的更新实现并行化。