利用噪声感知自监督学习与高效编码器改进时间序列编码
机器学习
2024-10-08 v3
摘要
本文研究利用自监督技术进行时间序列表示学习的问题。对比学习在该领域广为人知，因为它是从序列中提取信息并生成适合任务的表示的一种强大方法。尽管对比学习在捕捉时间序列特征方面表现出色，但这些技术往往忽视了一个关键因素——此类数据中固有的噪声，而这一因素在通用时间序列分析中通常备受重视。此外，现有研究明显缺乏对高效且轻量编码器架构的关注，过度聚焦于对比损失的设计。我们的工作通过提出一种创新的训练策略来弥补这些不足，该策略在考虑自然时间序列中易含噪声信号的前提下，促进一致的表示学习。此外，我们提出了一种在Inception块中融入空洞卷积的编码器架构，从而构建出具有宽感受野且可扩展、鲁棒的网络。实验结果凸显了我们方法的有效性，在预测、分类和异常检测等多项任务上持续优于最先进的（state-of-the-art, SOTA）方法。值得注意的是，我们的方法在超过三分之二的分类UCR数据集上取得排名第一，且仅使用了次优方法40%的参数。我们的CoInception框架源代码可在 https://github.com/anhduy0911/CoInception 获取。
引用
@article{arxiv.2306.06579,
title = {Improving Time Series Encoding with Noise-Aware Self-Supervised Learning and an Efficient Encoder},
author = {Duy A. Nguyen and Trang H. Tran and Huy Hieu Pham and Phi Le Nguyen and Lam M. Nguyen},
journal= {arXiv preprint arXiv:2306.06579},
year = {2024}
}