基于核方法在基础模型上的持续学习
机器学习
2024-12-23 v1 人工智能
计算与语言
计算机视觉与模式识别
摘要
持续学习（CL）增量地学习一系列任务。本文研究类增量学习（CIL）这一具有挑战性的 CL 设定。CIL 有两个关键挑战：灾难性遗忘（CF）与任务间类别分离（ICS）。尽管已有众多方法被提出，这些问题仍是持续存在的障碍。本文提出了一种新颖的 CIL 方法，称为核线性判别分析（KLDA），能够有效避免 CF 和 ICS 问题。它仅利用在基础模型（FM）中学习到的强大特征。然而，直接使用这些特征被证明是次优的。为了解决这一问题，KLDA 引入了径向基函数（RBF）核及其随机傅里叶特征（RFF）来增强 FM 的特征表示，从而提升性能。当新任务到来时，KLDA 仅计算该任务中每个类别的均值，并基于核化特征更新所有已学类别的共享协方差矩阵。分类使用线性判别分析进行。我们使用文本和图像分类数据集进行的经验评估表明，KLDA 显著优于基线方法。值得注意的是，在不依赖回放数据的情况下，KLDA 实现了与所有类别联合训练相当的准确率，后者被视为 CIL 性能的上界。KLDA 代码可在 https://github.com/salehmomeni/klda 获取。
引用
@article{arxiv.2412.15571,
title = {Continual Learning Using a Kernel-Based Method Over Foundation Models},
author = {Saleh Momeni and Sahisnu Mazumder and Bing Liu},
journal= {arXiv preprint arXiv:2412.15571},
year = {2024}
}