面向设备的大型气象模型个性化适配器：向气候基石模型迈进

本文证明，预训练语言模型（PLMs）是处理设备上气象变量建模的强大基础模型。我们提出LM-Weather，一种通用方法，通过将从自然语言数据库中学习的海量序列知识的PLMs驯化为能够在异构气象数据上高效获取高度定制模型的工具，同时保持高效。具体而言，我们引入一种轻量级个性化适配器并赋予其气象模式感知能力。在客户端与服务器之间通信时，采用低秩传输手段有效融合各设备间的全局知识，同时保持高通信效率并确保隐私。实验表明，LM-Weather在多种任务（如不同尺度的预测与插值）上均显著优于现有最先进成果。我们进行了大量深入分析实验，验证LM-Weather确实（1）利用自然语言序列知识准确处理气象序列，（2）允许每个设备在显著异构性下获取高度定制模型，（3）在数据有限和分布外（OOD）场景下具备良好泛化能力。