频率掩码嵌入推断：面向时间序列表示学习的非对比方法
机器学习
2025-01-07 v2 人工智能
摘要
对比学习是目前大多数自监督时间序列表示方法的基础。然而，构建正负样本对的策略显著影响最终的表示质量。鉴于时间序列语义的连续性，对比学习的建模方法在很大程度上难以适应时间序列数据的特征。这导致难以构建硬负样本以及在正样本构建过程中潜在引入不恰当偏见的问题。尽管最近的一些研究开发了几种科学的策略来构建有效性更好的正负样本对，但它们仍受限于对比学习框架。为根本性地克服对比学习的局限性，本文提出了一种新型非对比方法——频率掩码嵌入推断（FEI），完全消除对正负样本的需求。所提出的 FEI 基于提示策略构建 2 个推断分支：1）利用频率掩码作为提示，对目标序列在嵌入空间中缺失频率带的嵌入表示进行推断；2）将目标序列作为提示，对其频率掩码嵌入进行推断。如此，FEI 实现了对时间序列的连续语义关系建模。在 8 个广泛使用的数据集上进行分类和回归任务的实验结果表明，FEI 在泛化性方面显著优于现有的基于对比的方法。本研究为时间序列的自监督表示学习提供了新的见解。代码已公开于 https://github.com/USTBInnovationPark/Frequency-masked-Embedding-Inference。
引用
@article{arxiv.2412.20790,
title = {Frequency-Masked Embedding Inference: A Non-Contrastive Approach for Time Series Representation Learning},
author = {En Fu and Yanyan Hu},
journal= {arXiv preprint arXiv:2412.20790},
year = {2025}
}
备注
This paper has been accepted by AAAI-2025 main track