MQTransformer：具有上下文依赖与反馈感知注意力的多步预测模型
机器学习
2022-01-28 v4 机器学习
摘要
神经预测的最新进展在概率需求预测的准确性方面取得了重大改进。在这项工作中，我们通过受自然语言处理中 Transformer 架构近期进展启发的变化，对当前最先进水平提出新颖改进。我们开发了一种用于上下文对齐的新颖解码器-编码器注意力，通过允许网络基于其生成预测所用的上下文来研究自身历史，从而提高了预测准确性。我们还提出了一种新颖的位置编码，使神经网络能够学习上下文相关的季节性函数以及任意节假日距离。最后我们表明，当前最先进的 MQ-Forecaster（Wen 等人，2017）模型由于未能利用预测中的先前误差来提高准确性而表现出过度变异性。我们提出了一种用于预测的新颖解码器自注意力方案，显著改善了预测的过度变异。
引用
@article{arxiv.2009.14799,
title = {MQTransformer: Multi-Horizon Forecasts with Context Dependent and Feedback-Aware Attention},
author = {Carson Eisenach and Yagna Patel and Dhruv Madeka},
journal= {arXiv preprint arXiv:2009.14799},
year = {2022}
}