面向时间序列的自蒸馏表示学习
机器学习
2023-11-21 v1
摘要
时间序列数据的自监督学习具有类似于近期在自然语言处理与计算机视觉中所释放的潜力。尽管该领域多数现有工作聚焦于对比学习，我们提出了一种概念上简单却强大的非对比方法，基于 data2vec 自蒸馏框架。我们方法的核心是一个学生-教师机制，从同一时间序列的掩码视图预测其潜在表示。该策略避免了由对比样本对设计通常引入的强模态特定假设与偏置。我们展示了我们的方法在分类与预测作为下游任务上的竞争力，在 UCR 与 UEA 档案以及 ETT 和 Electricity 数据集上与最先进的自监督学习方法进行比较。
引用
@article{arxiv.2311.11335,
title = {Self-Distilled Representation Learning for Time Series},
author = {Felix Pieper and Konstantin Ditschuneit and Martin Genzel and Alexandra Lindt and Johannes Otterbach},
journal= {arXiv preprint arXiv:2311.11335},
year = {2023}
}
备注
Presented at the NeurIPS 2023 Workshop: Self-Supervised Learning - Theory and Practice