MoP-CLIP：一种用于域增量学习的提示微调 CLIP 模型混合方法

尽管增量学习近期取得了进展，但在分布漂移下解决灾难性遗忘仍是一个开放且重要的问题。事实上，虽然最先进的域增量学习（DIL）方法在已知域内表现令人满意，但在出现新域时其性能大幅下降。这一局限损害了它们的泛化能力，并限制了它们向更现实场景的可扩展性，即训练与测试数据来自不同分布。为应对这些局限，我们提出了一种基于提示微调 CLIP 模型混合（MoP-CLIP）的新颖 DIL 方法，它将 S-Prompting 范式推广到在推理时同时处理分布内与分布外数据。具体而言，在训练阶段我们对每个域中每一类的特征分布建模，学习独立的文本与视觉提示以适应给定域。在推理时，所学分布使我们能够判断给定测试样本是否属于已知域，从而选择正确的提示执行分类任务，或判断其来自未见域，进而利用提示微调 CLIP 模型的混合。我们的实证评估揭示了现有 DIL 方法在域偏移下的糟糕表现，并表明所提 MoP-CLIP 在标准 DIL 设定下具有竞争力，同时在 OOD 场景中优于最先进方法。这些结果证明了 MoP-CLIP 的优越性，为域增量学习问题提供了鲁棒且通用的解决方案。