通过最优传输实现全局与局部提示协作的联邦学习
机器学习
2024-04-04 v2 人工智能
分布式、并行与集群计算
摘要
预训练视觉 - 语言模型中的提示学习在各种下游任务中显示出卓越的灵活性。利用其固有的轻量级特性，最近的研究尝试将强大的预训练模型集成到联邦学习框架中，以同时降低通信成本并促进数据不足情况下的本地训练。尽管做出了这些努力，当前的联邦提示学习方法缺乏专门的设计来系统地解决严重的数据异构性问题，例如同时涉及标签偏移和特征偏移的数据分布。为应对这一挑战，我们提出了通过最优传输实现的联邦提示协作（FedOTP），该方法引入了高效的协作提示学习策略，以基于每个客户端捕捉多样的类别特征。具体而言，对于每个客户端，我们学习一个全局提示以提取客户端间的共识知识，以及一个本地提示以捕捉特定于客户端的类别特征。随后采用非平衡最优传输将本地视觉特征与这些提示对齐，从而在全局共识和本地个性化之间取得平衡。通过放松其中一个等式约束，FedOTP 使提示能够仅关注图像块的核心区域。在具有各种类型异构性的数据集上进行的大量实验表明，我们的 FedOTP 优于最先进的方法。
引用
@article{arxiv.2403.00041,
title = {Global and Local Prompts Cooperation via Optimal Transport for Federated Learning},
author = {Hongxia Li and Wei Huang and Jingya Wang and Ye Shi},
journal= {arXiv preprint arXiv:2403.00041},
year = {2024}
}