实现无遗忘与正向知识迁移的持续学习
机器学习
2026-01-12 v1 计算机视觉与模式识别
摘要
现有关于任务序列持续学习（CL）的研究主要集中于处理灾难性遗忘（CF），以平衡新任务的学习可塑性与旧任务的记忆稳定性。然而，一个理想的持续学习智能体不仅应能克服灾难性遗忘，还应促进正向的前向与后向知识迁移（KT），即利用从先前任务学到的知识来学习新任务（称为FKT），并利用新任务的知识提升先前任务的性能（称为BKT）。为此，本文首先将持续学习建模为一个优化问题，其中每个顺序学习任务旨在满足FKT和BKT均为正向的约束下达到其最优性能。随后，提出了一种新颖的增强型任务持续学习（ETCL）方法，该方法实现了无遗忘和正向知识迁移。此外，本文从理论上估计了可能导致负向FKT和BKT的界限。基于这些界限，还提出了一种新的在线任务相似性检测策略，以促进正向知识迁移。为克服灾难性遗忘，ETCL学习一组任务特定的二元掩码，为每个任务隔离一个稀疏子网络，同时保留一个稠密网络对该任务的性能。在新任务学习开始时，ETCL尝试将新任务的梯度与先前最相似任务的子网络的梯度对齐，以确保正向FKT。通过使用一种新的双目标优化策略和正交梯度投影方法，ETCL仅更新先前相似任务在分类层的权重，以实现正向BKT。大量评估表明，所提出的ETCL方法在相异、相似和混合任务序列上均显著优于强大的基线方法。
引用
@article{arxiv.2601.05623,
title = {Continual Learning of Achieving Forgetting-free and Positive Knowledge Transfer},
author = {Zhi Wang and Zhongbin Wu and Yanni Li and Bing Liu and Guangxi Li and Yuping Wang},
journal= {arXiv preprint arXiv:2601.05623},
year = {2026}
}