增强时间序列对比学习：一种动态坏样本对挖掘方法

并非所有的正样本对都有益于时间序列对比学习。在本文中，我们研究了两种可能损害通过对比学习学到的时间序列表示质量的坏正样本对：噪声正样本对和错误正样本对。我们观察到，在存在噪声正样本对的情况下，模型倾向于简单地学习噪声模式（噪声对齐）。同时，当出现错误正样本对时，模型会浪费大量精力去对齐非代表性模式（错误对齐）。为了解决这个问题，我们提出了一种 Dynamic Bad Pair Mining (DBPM) 算法，该算法能够在时间序列对比学习中可靠地识别并抑制坏正样本对。具体而言，DBPM 利用记忆模块在训练过程中动态跟踪每个正样本对的训练行为。这使我们能够根据每个正样本对的历史训练行为，在每个 epoch 识别出潜在的坏正样本对。随后，通过转换模块对识别出的坏样本对进行降权，从而减轻其对表示学习过程的负面影响。DBPM 是一种简单的算法，被设计为无可学习参数的轻量级插件，用于增强现有 state-of-the-art 方法的性能。通过在四个大规模、真实世界时间序列数据集上进行的广泛实验，我们证明了 DBPM 在减轻坏正样本对不利影响方面的有效性。