Linked Adapters：连接过去与未来至当下以实现有效的持续学习
机器学习
2024-12-17 v1 计算机视觉与模式识别
摘要
持续学习允许系统学习并适应新任务，同时保留从先前任务中获取的知识。然而，深度学习模型在学习新任务时，会对从先前任务中学到的知识发生灾难性遗忘。此外，为每个新任务从头重新训练 Transformer 等大型模型成本高昂。解决持续学习的一种有效方法是使用带有任务特定适配器的大型预训练模型来适应新任务。尽管该方法可以缓解灾难性遗忘，但由于每个任务单独学习适配器，它无法在任务间迁移知识。为了解决这一问题，我们提出了一种新颖的方法 Linked Adapters，该方法通过加权注意力机制将知识迁移至其他任务特定适配器。Linked Adapters 使用多层感知机 (MLP) 对注意力权重进行建模，除了建模前向知识迁移外，还克服了持续学习中后向知识迁移的挑战。在推理过程中，我们提出的方法通过基于 MLP 的注意力权重，有效利用了所有横向任务适配器间的知识迁移。通过在多样化图像分类数据集上进行的大量实验，我们有效地证明了使用 Linked Adapters 在持续学习任务上的性能提升。
引用
@article{arxiv.2412.10687,
title = {Linked Adapters: Linking Past and Future to Present for Effective Continual Learning},
author = {Dupati Srikar Chandra and P. K. Srijith and Dana Rezazadegan and Chris McCarthy},
journal= {arXiv preprint arXiv:2412.10687},
year = {2024}
}
备注
13 Pages, 5 Figures