非平稳漂移下的韧性对比预训练

大规模对比预训练的显著成功主要归功于广泛而静态的数据集。然而，随着规模化范式的演变，这一范式在数据特征漂移(概念漂移)的动态数据流中面临根本性挑战。概念漂移指底层数据分布的不可预测变化。本文旨在推进面对此类非平稳环境的鲁健预训练。我们首先揭示，传统对比预训练方法对概念漂移极其敏感，导致在所学特征表示中产生显著偏差和不稳定性。为系统分析这些影响，我们发展了结构因果模型，阐明了漂移如何作为混杂因子扭曲所学表示。基于这些因果见解，我们提出韧性对比预训练(RCP)，一种融入因果干预的方法。RCP 采用因果信息化目标，通过针对性干预来缓解漂移引起的偏差。该方法设计简单且可扩展，具有显著的适应性，推动在非平稳数据上的鲁健和自主预训练。广泛的下游任务实验一致表明，RCP有效缓解概念漂移的不利影响，产生更鲁健和更具可泛性的表示。