ChunkFormer：用多阶段分块Transformer学习长时间序列
机器学习
2022-01-03 v1 人工智能
摘要
长序列数据的分析在许多现实应用中仍然具有挑战性。我们提出了一种新架构ChunkFormer，改进了现有Transformer框架以在处理长时间序列时应对这些挑战。基于原始Transformer的模型采用注意力机制沿序列发现全局信息以利用上下文数据。长序列数据将季节性及波动等局部信息困在短数据序列中。此外，原始Transformer在训练过程中携带整个注意力矩阵而消耗更多资源。为克服这些挑战，ChunkFormer将长序列分割为较小的序列块进行注意力计算，并在每个阶段逐步应用不同的块大小。以此方式，所提模型在不改变输入序列总长度的情况下逐步学习局部与全局信息。我们在不同业务领域广泛测试了这一新架构的有效性，并证明了该模型相对于现有基于Transformer模型的优势。
引用
@article{arxiv.2112.15087,
title = {ChunkFormer: Learning Long Time Series with Multi-stage Chunked Transformer},
author = {Yue Ju and Alka Isac and Yimin Nie},
journal= {arXiv preprint arXiv:2112.15087},
year = {2022}
}
备注
7 pages, 4 figures