面向非独立同分布数据的基于任务onomy的联邦学习
机器学习
2021-10-11 v2 分布式、并行与集群计算
摘要
经典的联邦学习方法在存在非IID客户端数据时会出现显著的性能下降。解决该问题的一个可能方向是形成具有大致IID数据的客户端簇。遵循该方向的大多数解决方案是迭代式的且相对较慢，并且在发现潜在的簇结构时容易出现收敛问题。我们引入了基于任务onomy的联邦学习（FLT），通过学习客户端之间的任务相关性来推广该方向，以实现异构数据更高效的联邦聚合。在一次性的过程中，服务器向客户端提供预训练（且可微调）的编码器，将其数据压缩为潜在表示，并将数据签名传回服务器。服务器随后通过流形学习学习客户端间的任务相关性，并执行联邦平均的推广形式。FLT能够灵活处理通用的客户端相关性图（当不存在显式客户端簇时），以及高效地将其分解为（不相交的）簇以用于聚类联邦学习。我们证明FLT不仅在非IID场景中优于现有的SOTA基线，还提升了跨客户端的公平性。
引用
@article{arxiv.2103.15947,
title = {Federated Learning with Taskonomy for Non-IID Data},
author = {Hadi Jamali-Rad and Mohammad Abdizadeh and Anuj Singh},
journal= {arXiv preprint arXiv:2103.15947},
year = {2021}
}
备注
30 pages