通过概率掩码对基础模型进行联邦微调
机器学习
2023-11-30 v1 计算机视觉与模式识别
分布式、并行与集群计算
摘要
基础模型(FMs)凭借其在各类任务中的适应性与高性能革新了机器学习；然而，由于其广泛参数化带来的巨大通信开销，将其集成到联邦学习(FL)中具有挑战性。当前通信高效的FL策略（如梯度压缩）将比特率降至约每参数比特(bpp)。但这些方法未能利用FM的特性，即便在此比特率区间，其大量参数仍对通信效率构成挑战。本文提出DeltaMask，一种以远低于1 bpp的超低比特率在FL中高效微调FM的新方法。DeltaMask采用随机掩码在FM中检测高效子网络，并利用客户端掩码中的随机性与稀疏性，通过概率滤波器将更新压缩为紧凑的灰度图像，有别于传统的权重训练方法。我们在多种数据集与架构上的综合评估表明，DeltaMask高效实现低至0.09 bpp的比特率，在保持FM性能的同时提升通信效率，该性能基于8个数据集和5个不同网络架构的预训练模型测得。
引用
@article{arxiv.2311.17299,
title = {Federated Fine-Tuning of Foundation Models via Probabilistic Masking},
author = {Vasileios Tsouvalas and Yuki Asano and Aaqib Saeed},
journal= {arXiv preprint arXiv:2311.17299},
year = {2023}
}
备注
19 pages, 9 figures