面向环境的 HEART：基于 Transformer 的空气质量时空建模
机器学习
2025-02-27 v1
摘要
准确可靠的空气污染预测对于有效的环境管理和政策制定至关重要。llull-environment 是一个灵巧且可扩展的空气污染预测系统，灵感来自目前在西班牙马德里和瓦拉多德尔（Valladolid） operational（运行中）的模型。它包含（除其他关键组件之外）一个编码器-解码器卷积神经网络，用于预测四种关键污染物（NO、O、PM、PM）的平均水平，利用历史数据、外部预测以及其他情境特征。本文研究将其与注意力机制相结合以提高预测精度的可能性。 proposed（提出的）注意力机制对包含输入特征的张量进行预处理，然后传递给现有的平均预测模型。 resulting（结果）模型是几种架构和想法的组合，可描述为“混合增强自回归 Transformer”，即 HEART。通过将不同注意力布局下的均方误差（MSE）与该系统中无此机制的情况进行比较来评估该方法的有效性。我们观察到 MSE 最多可降低 22%，在测试城市和污染物上的平均降幅为 7.5%。注意力机制的性能取决于具体污染物，这凸显了其创建和消散过程的差异。我们的发现不仅限于优化空气质量预测模型，也适用于一般性的（固定长度）时间序列预测。
引用
@article{arxiv.2502.19042,
title = {A HEART for the environment: Transformer-Based Spatiotemporal Modeling for Air Quality Prediction},
author = {Norbert Bodendorfer},
journal= {arXiv preprint arXiv:2502.19042},
year = {2025}
}