MQRetNN:基于检索增强的多步时间序列预测
机器学习
2022-09-09 v2 人工智能
摘要
多步概率时间序列预测在需求预测等现实任务中具有广泛适用性。近期神经时间序列预测的工作主要关注 Seq2Seq 架构的使用。例如,MQTransformer——MQCNN 的改进版——已在概率需求预测中展现出最先进的性能。本文中,我们考虑通过加入跨实体注意力机制以及用于选择参与注意的实体的检索机制,引入跨实体信息以提升模型性能。我们展示了我们的新神经架构 MQRetNN 如何利用在全体实体上预训练基线模型所编码的上下文来改进预测精度。由于计算限制未使用 MQTransformer,我们以 MQCNN 为基线模型,首先在一个小规模需求预测数据集上表明,通过加入每个实体注意全体中其他所有实体的跨实体注意力机制,测试损失可提升约 3%。随后,我们在包含超过 200 万产品的规模化需求预测应用上,用所提出的检索方法——作为对大规模群体注意的近似——评估模型,并观察到相较 MQCNN 基线约 1% 的性能增益。
引用
@article{arxiv.2207.10517,
title = {MQRetNN: Multi-Horizon Time Series Forecasting with Retrieval Augmentation},
author = {Sitan Yang and Carson Eisenach and Dhruv Madeka},
journal= {arXiv preprint arXiv:2207.10517},
year = {2022}
}
备注
Accepted at KDD2022 Workshop on Mining and Learning from Time Series