基于随机特征的鲁棒且通信高效的联邦域适应
机器学习
2024-12-20 v2 分布式、并行与集群计算
机器学习
摘要
现代机器学习（ML）模型已发展到在单台机器上训练不切实际的规模。因此，利用联邦学习（FL）技术以分布式协作方式训练大型 ML 模型渐成趋势。然而，这些模型部署于新设备时，可能因域偏移而难以良好泛化。在此背景下，联邦域适应（FDA）成为应对该挑战的有力途径。现有多数 FDA 方法通常通过最小化源域与目标域之间的距离（如 MMD）来对齐二者分布。但此类策略不可避免地引入高通信开销，且对网络可靠性高度敏感。本文中，我们引入 RF-TCA，一种对标准迁移成分分析方法的增强，可在不损害理论与经验性能的前提下大幅加速计算。利用 RF-TCA 的计算优势，我们进一步将其扩展至 FDA 设定，提出 FedRF-TCA。所提 FedRF-TCA 协议的通信复杂度与样本量无关，同时保持与最先进 FDA 方法相当甚至更优的性能。我们给出了大量实验以展示 FedRF-TCA 的优越性能及对网络条件的鲁棒性。
引用
@article{arxiv.2311.04686,
title = {Robust and Communication-Efficient Federated Domain Adaptation via Random Features},
author = {Zhanbo Feng and Yuanjie Wang and Jie Li and Fan Yang and Jiong Lou and Tiebin Mi and Robert. C. Qiu and Zhenyu Liao},
journal= {arXiv preprint arXiv:2311.04686},
year = {2024}
}
备注
22 pages, 7 figures, 17 tables, accepted by IEEE Trans. KDE