TENT：用于温度预报的张量化编码器 Transformer
机器学习
2022-02-23 v2 人工智能
摘要
可靠的天气预报在科学、商业和社会中极具重要性。在天气预测任务中性能最佳的数据驱动模型依赖于循环或卷积神经网络，其中部分引入了注意力机制。本工作中，我们介绍了一种基于 Transformer 架构的天气预报新模型。所提出的张量化编码器 Transformer（TENT）模型配备了张量化注意力，因而通过以多维张量格式处理天气数据来利用其时空结构。我们表明，相较于经典编码器 Transformer、3D 卷积神经网络、LSTM 和卷积 LSTM，所提 TENT 模型能更好地学习所研究温度预测任务中天气数据的底层复杂模式。我们在两个真实天气数据集上进行了实验。数据集包含来自美国、加拿大和欧洲气象站的历史观测。第一个数据集包含 2012 年 10 月至 2017 年 11 月美国和加拿大 30 个城市的逐时天气属性观测。第二个数据集包含 2005 年 5 月至 2020 年 4 月欧洲 18 个城市的每日天气属性观测。基于所获得的张量化注意力引入了两种注意力分数并可视化，以阐明我们模型的决策过程并提供关于目标城市最重要城市的洞察知识。
引用
@article{arxiv.2106.14742,
title = {TENT: Tensorized Encoder Transformer for Temperature Forecasting},
author = {Onur Bilgin and Paweł Mąka and Thomas Vergutz and Siamak Mehrkanoon},
journal= {arXiv preprint arXiv:2106.14742},
year = {2022}
}
备注
10 pages, 10 figures