Segment, Shuffle, and Stitch: 一种改进时间序列表示的简单层
机器学习
2024-10-31 v3 人工智能
摘要
现有时间序列表示学习方法保持时间步的原始顺序，认为原始顺序最有利于学习。然而，真实时间序列的非相邻部分可能存在强依赖关系。因此，我们提出一个问题：是否存在一种替代排列方式能够实现更有效的表示学习？为此，我们提出一个简单的即插即用神经网络层，称为Segment, Shuffle, and Stitch (S3)，旨在改进时间序列模型中的表示学习。S3通过从原始序列创建不重叠的片段并以学习到的方式（针对当前任务最优）进行打乱，然后将打乱的片段重新拼接，并与原始输入进行学习到的加权求和，以同时捕获新打乱的序列和原始序列。S3是模块化的，可以堆叠以实现不同粒度的效果，并且可以添加到多种神经网络架构中（包括CNN或Transformer），计算开销可忽略。通过在多个数据集和最先进基线上的大量实验，我们表明加入S3在时间序列分类、预测和异常检测任务中带来了显著改进，在某些数据集上性能提升高达68%。我们还表明，与原始基线相比，S3使学习更稳定，训练损失曲线和损失景观更平滑。代码可在 https://github.com/shivam-grover/S3-TimeSeries 获取。
引用
@article{arxiv.2405.20082,
title = {Segment, Shuffle, and Stitch: A Simple Layer for Improving Time-Series Representations},
author = {Shivam Grover and Amin Jalali and Ali Etemad},
journal= {arXiv preprint arXiv:2405.20082},
year = {2024}
}
备注
Accepted to NeurIPS 2024