无隔离学习：面向持续学习的路径保护
机器学习
2025-05-27 v1 人工智能
计算机视觉与模式识别
摘要
深度网络在顺序学习期间容易出现灾难性遗忘，即在学习新任务时丢失关于旧任务的知识。为此，持续学习(CL)已涌现出，其现有方法主要集中于调节或保护与先前任务相关的模型参数。然而，参数保护往往难以实现，因为存储旧任务知识所需的参数规模会随任务数量的增加而线性增长，或者难以保留与旧任务知识相关的模型参数。本文从神经科学和物理学的双重视角引入新观点：在整个网络中，对于获取旧任务知识，路径比参数更为重要。基于此观点，我们提出了新颖的持续学习框架，即学习无隔离(LwI)，将模型融合表述为图匹配问题，以在不孤立化的情况下保护由旧任务占据的路径。由于深度网络中激活通道的稀疏性，LwI能够自适应地为新任务分配可用路径，从而在参数高效的前提下实现路径保护并解决灾难性遗忘问题。在流行基准数据集上的实验表明，我们提出的LwI方法优于现有方法。
引用
@article{arxiv.2505.18568,
title = {Learning without Isolation: Pathway Protection for Continual Learning},
author = {Zhikang Chen and Abudukelimu Wuerkaixi and Sen Cui and Haoxuan Li and Ding Li and Jingfeng Zhang and Bo Han and Gang Niu and Houfang Liu and Yi Yang and Sifan Yang and Changshui Zhang and Tianling Ren},
journal= {arXiv preprint arXiv:2505.18568},
year = {2025}
}
备注
23 pages