强混合连续时间随机过程的对比学习
机器学习
2021-03-05 v1 机器学习
摘要
对比学习是一类自监督方法，其通过从未经标注的数据中构造分类任务来训练模型。近来，它已成为在许多不同领域（例如脑成像、文本、图像）缺乏标注情况下的主导学习范式之一。然而，关于训练的许多方面（统计与算法）的理论理解仍相当匮乏。本工作中，我们研究时间序列的设置——更确切地说，当我们从强混合连续时间随机过程获取数据时。我们表明，恰当构造的对比学习任务可用于估计扩散情形下小到中等区间的转移核。此外，我们给出解决该任务的样本复杂度界，并定量刻画对比损失的值对于所学核的分布接近性意味着什么。作为副产品，我们阐明了此设置中对比分布以及其他超参数的恰当选取。
引用
@article{arxiv.2103.02740,
title = {Contrastive learning of strong-mixing continuous-time stochastic processes},
author = {Bingbin Liu and Pradeep Ravikumar and Andrej Risteski},
journal= {arXiv preprint arXiv:2103.02740},
year = {2021}
}
备注
Appearing in AISTATS 2021