用于自监督学习的对比神经过程

近期的对比方法在多个领域的自监督学习中展现出显著改进。特别地，对比方法在易于构建数据增强的领域（如计算机视觉）中最为有效。然而，在缺乏成熟数据变换的领域（如时间序列数据）中，它们表现较差。本文提出一种结合对比学习与神经过程的新型自监督学习框架。它依托神经过程的最新进展来进行时间序列预测。这允许通过采用一组不同的采样函数生成数据的增强版本，从而避免手动设计的增强。我们扩展了常规神经过程并提出了一种新的对比损失，以在自监督设定下学习时间序列表示。因此，与以往的自监督方法不同，我们的增强流程与任务无关，使我们的方法能在各类应用中表现良好。特别地，使用我们方法训练的带线性分类器的ResNet能够在工业、医疗和音频数据集上超越SOTA技术，在ECG周期数据上准确率提升超10%。我们进一步证明，我们的自监督表示在潜空间中更高效，改善了多个聚类指标，并且在仅用10%标签微调我们的方法时取得了与全监督学习相竞争的结果。