中文

多源到多目标去中心化联邦域适应

分布式、并行与集群计算 2024-01-10 v2 机器学习 系统与控制 信号处理 系统与控制

摘要

联邦学习(FL)中设备间的异质性通常指统计(例如非独立同分布数据分布)和资源(例如通信带宽)维度。在本文中,我们关注另一个受关注较少的重要维度:各设备间有标签与无标签数据的数量/分布差异。为利用所有数据,我们提出了一种去中心化联邦域适应方法,考虑将机器学习模型从具有高质量标签数据的设备(称为源)迁移到具有低质量或无标签数据的设备(称为目标)。我们的方法,源-目标判定与链路形成(ST-LF),在考虑机器学习模型精度与通信能效之间权衡的前提下,同时优化(i)设备到源与目标的分类以及(ii)源-目标链路形成。为获得具体目标函数,我们推导了一个可度量的泛化误差界,其考虑了源-目标假设偏差估计及数据分布间差异。所得优化问题是一类NP难问题的混合整数符号规划,我们基于连续凸近似开发了可高效求解的算法。随后对ST-LF的数值评估表明,其相较最先进的基线提升了分类精度与能效。

关键词

引用

@article{arxiv.2304.12422,
  title  = {Multi-Source to Multi-Target Decentralized Federated Domain Adaptation},
  author = {Su Wang and Seyyedali Hosseinalipour and Christopher G. Brinton},
  journal= {arXiv preprint arXiv:2304.12422},
  year   = {2024}
}

备注

Accepted in IEEE Transactions on Cognitive Communications and Networking