深度网络去中心化自适应聚类有利于客户端协作
机器学习
2022-11-01 v2
摘要
我们研究在去中心化点对点设置中训练个性化深度学习模型的问题，重点关注客户端之间数据分布不同且不同客户端具有不同局部学习任务的设置。我们同时研究协变量偏移与标签偏移，我们的贡献是一种算法，该算法基于局部任务的相似性估计为每个客户端寻找有益的协作。我们的方法不依赖于难以估计的超参数（如客户端聚类数量），而是利用基于一种新颖自适应 gossip 算法的软聚类分配持续适应网络拓扑。我们在数据于客户端间非独立同分布的各种设置中测试了所提方法。实验评估表明，所提方法优于该问题设置下先前的 SOTA 算法，并能很好地处理先前方法失效的情况。
引用
@article{arxiv.2206.08839,
title = {Decentralized adaptive clustering of deep nets is beneficial for client collaboration},
author = {Edvin Listo Zec and Ebba Ekblom and Martin Willbo and Olof Mogren and Sarunas Girdzijauskas},
journal= {arXiv preprint arXiv:2206.08839},
year = {2022}
}