通过同步低频与高频特征自举的大规模时间序列表示学习
计算机视觉与模式识别
2023-11-27 v2
摘要
从无标签时间序列数据中学习表示是一个具有挑战性的问题。时间序列域中大多数现有的自监督与无监督方法不能同时捕捉低频与高频特征。此外，其中一些方法采用如 transformer 之类的大规模模型，或依赖对比学习等计算昂贵的技术。为解决这些问题，我们提出一种非对比自监督学习方法，以经济高效的方式捕捉低频与高频时变特征。我们的方法以原始时间序列数据为输入，通过从同一族中随机采样增广，为模型的两个分支创建两种不同的增广视图。沿用 BYOL 的术语，这两个分支称为在线网络与目标网络，从而允许对潜在表示进行自举。与 BYOL 中骨干编码器后接多层感知机（MLP）头不同，所提模型包含额外的时序卷积网络（TCN）头。由于增广视图经过编码器的大核卷积块，随后 MLP 与 TCN 的组合因感受野变化而能有效表示低频与高频时变特征。两个模块（MLP 与 TCN）以互补方式作用。我们训练在线网络，其中每个模块学习预测目标网络分支相应模块的输出。为证明模型的鲁棒性，我们在五个真实世界时间序列数据集上进行了大量实验与消融研究。我们的方法在所有五个真实世界数据集上均取得了最先进的性能。
引用
@article{arxiv.2204.11291,
title = {Large Scale Time-Series Representation Learning via Simultaneous Low and High Frequency Feature Bootstrapping},
author = {Vandan Gorade and Azad Singh and Deepak Mishra},
journal= {arXiv preprint arXiv:2204.11291},
year = {2023}
}