气象驱动的GPT4AP：面向数据稀缺场景的大气空气污染多任务预测大语言模型
机器学习
2026-04-01 v1
摘要
准确预测空气污染对环境监测和政策支持至关重要，但数据驱动模型在观测稀疏的地区往往泛化能力有限。本文提出了气象驱动的空气污染GPT（GPT4AP），这是一个基于预训练GPT-2骨干网络和Gaussian秩稳定低秩自适应（rsLoRA）的参数高效多任务预测框架。该模型冻结了自注意力和前馈层，并适配轻量级的位姿和输出模块，大幅减少了可训练参数的数量。GPT4AP在六个真实空气质量监测数据集上进行了少样本、零样本和长期预测设置的评估。在使用10%训练数据的少样本设置中，GPT4AP实现了平均MSE/MAE为0.686/0.442，优于DLinear（0.728/0.530）和ETSformer（0.734/0.505）。在零样本跨站点迁移中，所提出的模型实现了平均MSE/MAE为0.529/0.403，展示了相比现有基线的改进泛化能力。在使用全部训练数据的长期预测中，GPT4AP仍然具有竞争力，实现了平均MAE为0.429，而专门的时间序列模型显示出略低的误差。这些结果表明，GPT4AP提供了一种数据高效的预测方法，在有限监督和域偏移条件下表现稳健，同时在数据丰富的设置中保持具有竞争力的准确性。
引用
@article{arxiv.2603.29974,
title = {Meteorology-Driven GPT4AP: A Multi-Task Forecasting LLM for Atmospheric Air Pollution in Data-Scarce Settings},
author = {Prasanjit Dey and Soumyabrata Dev and Bianca Schoen-Phelan},
journal= {arXiv preprint arXiv:2603.29974},
year = {2026}
}
备注
This manuscript is under review