学习独立嵌入时间序列块

掩码时间序列建模最近作为时间序列的自监督表示学习策略受到广泛关注。受计算机视觉中掩码图像建模的启发，近期工作首先将时间序列分块并部分掩码，然后训练Transformer通过从非掩码块预测掩码块来捕获块之间的依赖关系。然而，我们认为捕获这种块依赖可能不是时间序列表示学习的最优策略；相反，学习独立嵌入每个块能产生更好的时间序列表示。具体地，我们提出使用1）简单的块重建任务，即自编码每个块而不查看其他块，以及2）简单的逐块MLP，独立嵌入每个块。此外，我们引入互补对比学习以高效分层捕获相邻时间序列信息。与最先进的基于Transformer的模型相比，我们提出的方法提高了时间序列预测和分类性能，同时在参数数量和训练/推理时间方面更高效。代码可在该仓库获取：https://github.com/seunghan96/pits。