基于共享注意力的多任务时间序列预测
机器学习
2021-01-26 v1 机器学习
摘要
时间序列预测是许多工业和商业决策过程中的关键组成部分，基于循环神经网络（RNN）的模型在各种时间序列预测任务上取得了令人印象深刻的进展。然而，现有大多数方法侧重于单任务预测问题，基于有限的有监督目标分别学习，常常受限于训练样本不足。由于 Transformer 架构和其他基于注意力的模型已展现出捕捉长期依赖的强大能力，我们提出了两种基于自注意力的共享方案用于多任务时间序列预测，可跨多个任务联合训练。我们在一组并行的 Transformer 编码器上增强了一个外部公共多头注意力函数，该函数由所有任务的所有数据更新。在多个真实世界多任务时间序列预测任务上的实验表明，我们提出的架构不仅能优于最先进的单任务预测基线，也能优于基于 RNN 的多任务预测方法。
引用
@article{arxiv.2101.09645,
title = {Multi-Task Time Series Forecasting With Shared Attention},
author = {Zekai Chen and Jiaze E and Xiao Zhang and Hao Sheng and Xiuzheng Cheng},
journal= {arXiv preprint arXiv:2101.09645},
year = {2021}
}
备注
Accepted by ICDMW 2020