欠参数化 regime 下的联邦表征学习
机器学习
2024-07-19 v4
摘要
联邦表征学习 (FRL) 是一种流行的个性化联邦学习 (FL) 框架，客户端协作训练常见表征，同时保留各自的个人化头部。然而，现有研究 largely 关注欠参数化 regime。本文试图首次探讨 FRL 在欠参数化 regime 中的情况，即 FL 模型不足以表达所有真实模型中的变化。我们提出了一种新型 FRL 算法 FLUTE，并理论地表征了其在欠参数化 regime 下的线性模型的样本复杂度和收敛率。据我们所知，这是首个在该 regime 中具有可证明性能保证的 FRL 算法。FLUTE 特点包括数据无关的随机初始化和精心设计的目标函数，有助于从误位的本地表征中提炼出由全局最优表征张成的子空间。在技术层面，我们将低秩矩阵逼近技术与 FL 分析相结合，这可能对广泛感兴趣。我们还将 FLUTE 扩展到非线性表征之外。实验结果表明，FLUTE 在合成和真实任务上均优于最先进的 FRL 解决方案。
引用
@article{arxiv.2406.04596,
title = {Federated Representation Learning in the Under-Parameterized Regime},
author = {Renpu Liu and Cong Shen and Jing Yang},
journal= {arXiv preprint arXiv:2406.04596},
year = {2024}
}
备注
This work has been accepted to ICML 2024