基于 CLIP 模型的内存高效持续学习
机器学习
2026-05-06 v1
摘要
对比语言-图像预训练（CLIP）模型擅长理解图像与文本间的关系，但在适应新数据时难以保留先前知识。为解决此问题，通常使用新任务数据和过去任务的内存缓冲区对模型进行微调。然而，当内存缓冲区较小时，CLIP 的对比损失会受到影响，导致在先前任务上的性能下降。我们提出了一种内存高效且分布鲁棒的方法，该方法在训练期间动态地调整每个类的损失权重。我们的方法在类增量设置（CIFAR-100、ImageNet1K）和域增量设置（DomainNet）上进行了测试，即使在内存使用极少的情况下，也能在最小化灾难性遗忘的同时快速适应 CLIP 模型。
引用
@article{arxiv.2605.03866,
title = {Memory-Efficient Continual Learning with CLIP Models},
author = {Ryan King and Gang Li and Bobak Mortazavi and Tianbao Yang},
journal= {arXiv preprint arXiv:2605.03866},
year = {2026}
}