AdaptCL：应对序列数据集异质性的自适应持续学习

在持续学习中管理复杂度、规模和相似度各异的异质数据集是一项重大挑战。解决此挑战需要任务不可知持续学习，因为相似度各异的数据集难以区分任务边界。常规任务不可知持续学习实践通常依赖重演或正则化技术。然而，重演方法可能因固定的缓冲区大小而难以应对不同的数据集规模并调节新旧数据的重要性。同时，正则化方法施加通用约束以促进泛化，但在处理缺乏共享特征的不相似数据集时会阻碍性能，因而需要更具自适应的方法。本文提出 AdaptCL，一种应对序列数据集异质性的新型自适应持续学习方法。AdaptCL 采用细粒度数据驱动剪枝以适应数据复杂度和数据集规模的变化。它还利用任务不可知参数隔离来缓解由数据相似度差异引起的不同程度灾难性遗忘的影响。通过双管齐下的案例研究方法，我们在 MNIST 变体和 DomainNet 的数据集以及来自不同领域的数据集上评估 AdaptCL。后者既包括大规模多样化二分类数据集，也包括少样本多分类数据集。在所有这些场景中，AdaptCL 持续展现出鲁棒性能，证明了其在处理异质数据集时的灵活性与普遍适用性。