联邦学习中的包容性数据表示：一种融合文本与视觉提示的新方法
机器学习
2023-10-10 v1 人工智能
计算与语言
摘要
联邦学习(Federated Learning, FL)常受通信开销问题阻碍。提示微调作为一种潜在解决方案，被引入以仅调整少量可训练参数而非整个模型。然而，当前的单模态提示微调方法无法全面刻画本地客户端的数据。为克服此限制，我们提出双提示联邦学习(Twin Prompt Federated learning, TPFL)，这是一种融合视觉与文本模态的开创性方案，确保对本地客户端数据特征更整体的表示。此外，为解决数据异构问题，我们在 TPFL 上引入采用对比学习的增强型 TPFL (Augmented TPFL, ATPFL)，不仅增强客户端模型的全局知识获取，也促进鲁棒紧凑模型的发展。TPFL 与 ATPFL 的有效性由我们广泛的评估证实，相较所有基线始终表现出更优性能。
引用
@article{arxiv.2310.04455,
title = {Inclusive Data Representation in Federated Learning: A Novel Approach Integrating Textual and Visual Prompt},
author = {Zihao Zhao and Zhenpeng Shi and Yang Liu and Wenbo Ding},
journal= {arXiv preprint arXiv:2310.04455},
year = {2023}
}