CONTRAST: 面向动态分布的持续多源自适应

适应动态数据分布是一个实际但具有挑战性的任务。一种有效策略是使用模型集成，利用不同模型的多样化专业知识将知识迁移到不断变化的数据分布。然而，当动态测试分布仅以小批量形式可用且无法访问原始源数据时，这种方法面临困难。为了应对这种实际场景下适应动态分布的挑战，我们提出了CONTRAST（面向动态分布的持续多源自适应），这是一种新颖的方法，能够最优地组合多个源模型以适应动态测试数据。CONTRAST有两个显著特点。首先，它高效地计算最优组合权重，以组合源模型，从而随时间连续适应测试数据分布。其次，它识别哪些源模型参数需要更新，使得仅更新与目标数据最相关的模型，而较少相关的模型保持不变；这通过仅关注与测试批量分布相关性最强的源模型来缓解“遗忘”源模型参数的问题。通过理论分析，我们证明所提方法能够最优地组合源模型，并优先更新最不易遗忘的模型。在多种数据集上的实验分析表明，多个源模型的组合至少与最佳源模型（具有事后知识）表现相当，并且随着测试数据分布随时间变化，性能不会下降（对遗忘具有鲁棒性）。