Informer：超越高效Transformer的长序列时间序列预测模型
机器学习
2021-03-30 v3 人工智能
信息检索
摘要
许多现实应用需要对长序列时间序列进行预测，例如电力消耗规划。长序列时间序列预测（LSTF）对模型的高预测能力有要求，即高效捕捉输出与输入之间精确的长程依赖耦合的能力。近期研究显示了Transformer提升预测能力的潜力。然而，Transformer存在若干严重问题使其无法直接应用于LSTF，包括二次时间复杂度、高内存占用以及编码器-解码器架构的固有局限。为解决这些问题，我们设计了一种用于LSTF的基于Transformer的高效模型，称为Informer，具有三个显著特点：(i) 自注意力机制，在时间复杂度和内存占用上达到，且在序列依赖对齐上性能相当。(ii) 自注意力蒸馏通过减半级联层输入来突出主导注意力，并高效处理极长输入序列。(iii) 生成式解码器，虽概念简单，却能在一次前向操作中预测长时间序列而非逐步预测，大幅提升了长序列预测的推理速度。在四个大规模数据集上的大量实验表明，Informer显著优于现有方法，并为LSTF问题提供了新的解决方案。
引用
@article{arxiv.2012.07436,
title = {Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting},
author = {Haoyi Zhou and Shanghang Zhang and Jieqi Peng and Shuai Zhang and Jianxin Li and Hui Xiong and Wancai Zhang},
journal= {arXiv preprint arXiv:2012.07436},
year = {2021}
}
备注
8 pages (main), 5 pages (appendix) and to be appeared in AAAI2021