TriplePlay：利用 CLIP 增强联邦学习以应对非独立同分布数据并提升资源效率
机器学习
2024-10-10 v2 人工智能
摘要
以 CLIP 为代表的预训练模型的快速进步和日益复杂，为联邦学习（FL）这一隐私保护人工智能的关键组成部分带来了重大机遇和挑战。本研究深入探讨了将 CLIP 等大型基础模型集成到 FL 框架中的复杂性，以增强跨异构数据环境的隐私性、效率和适应性。它特别解决了非独立同分布数据分布、利用此类复杂模型带来的计算和通信开销，以及数据集中类别的偏斜表示等挑战。我们提出了 TriplePlay，一个将 CLIP 作为适配器集成的框架，以增强 FL 在不同数据分布上的适应性和性能。这种方法通过量化和低秩适应技术解决了长尾分布挑战，以确保公平性，同时降低资源需求。我们的模拟结果表明，TriplePlay 有效地降低了 GPU 使用成本并加速了学习过程，以更低的通信开销实现了收敛。
引用
@article{arxiv.2409.05347,
title = {TriplePlay: Enhancing Federated Learning with CLIP for Non-IID Data and Resource Efficiency},
author = {Ahmed Imteaj and Md Zarif Hossain and Saika Zaman and Abdur R. Shahid},
journal= {arXiv preprint arXiv:2409.05347},
year = {2024}
}