准周期时间序列的对比学习并非最优
机器学习
2024-07-25 v1
摘要
尽管近年来在时间序列分析中取得了显著进展,但自监督学习(SSL)在实际性能方面仍存在与预期效果之间的明显差距。尽管这些方法在各种领域展现出强大的少标签泛化能力,但在仅凭有限标注记录区分不同类别时,效果尤为不足。我们的假设认为,这一瓶颈归因于对比学习(Contrastive Learning)的广泛使用,这是许多最新 SOTA 方法中共享的训练目标。通过强制要求来自不同记录的负样本表示之间具有差异性,该方法迫使模型编码独特的记录模式,同时忽略整个记录中发生的变化。为克服这一挑战,本文引入了面向准周期时间序列的蒸馍嵌入(DEAPS),即针对心电图(ECG)等准周期时间序列设计的非对比学习方法。通过避免使用负样本,我们不仅缓解了模型对时间变化的“盲视”,还能够集成一种“渐进损失(Lgra)”函数。这一函数引导模型有效捕捉整个记录中演化的动态模式。结果令人鼓舞,DEAPS 在仅提供少量标注记录时,相较于现有 SOTA 方法提升了约 10%。
引用
@article{arxiv.2407.17073,
title = {Contrastive Learning Is Not Optimal for Quasiperiodic Time Series},
author = {Adrian Atienza and Jakob Bardram and Sadasivan Puthusserypady},
journal= {arXiv preprint arXiv:2407.17073},
year = {2024}
}
备注
Accepted to IJCAI 2024