设备上天气基础模型的联邦提示学习
机器学习
2024-04-23 v2
摘要
用于天气预报的终端智能利用本地深度学习模型分析天气模式而无需集中式云计算，对支持人类活动具有重要意义。联邦学习是一种有前景的解决方案，可在不共享原始数据的情况下实现协作模型训练。然而，它面临三个主要挑战影响其可靠性：（1）设备间因地理差异导致的数据异构性；（2）单个设备内的数据同质性；（3）为协作发送大型模型参数导致的通信过载。为应对这些挑战，本文提出设备上天气基础模型的联邦提示学习（FedPoD），使设备能获得高度定制化的模型同时保持通信效率。具体而言，我们的自适应提示调优利用轻量提示引导冻结的基础模型生成更精准的预测，并基于提示进行多级通信以促进多源知识融合与优化调节。此外，动态图建模从提示构建图，优先在数据分布相似的设备间协作训练以对抗异构性。大量实验表明，在真实世界设备上天气预报数据集的多种设定下，FedPoD 在性能上领先于最先进基线。
引用
@article{arxiv.2305.14244,
title = {Federated Prompt Learning for Weather Foundation Models on Devices},
author = {Shengchao Chen and Guodong Long and Tao Shen and Jing Jiang and Chengqi Zhang},
journal= {arXiv preprint arXiv:2305.14244},
year = {2024}
}
备注
Accepted by Main Track in IJCAI'24 (the 33rd International Joint Conference on Artificial Intelligence)