IFedAvg：面向联邦学习的可解释数据互操作性方法
机器学习
2021-07-15 v1 分布式、并行与集群计算
摘要
近年来，对隐私导向机器学习日益增长的需求促使研究者开发联邦与去中心化学习技术，使各客户端能够在不披露私有数据集的情况下协同训练模型。然而，在依赖高度用户信任且必须评估数据兼容性的领域中，其广泛应用受到限制。本文中，我们定义并解决了表格数据联邦学习中由底层客户端数据不一致所引发的低互操作性问题。所提方法 iFedAvg 基于联邦平均（federated averaging），增加局部逐元素仿射层，从而实现对协同学习过程的个性化与细粒度理解。由此，能够在无需共享任何原始数据的情况下检测联邦中的离群数据集，并学习对局部数据分布偏移的补偿。我们使用多个公开基准以及一组此前未被研究的、来自 2014–2016 年西非埃博拉疫情的真实世界数据集评估 iFedAvg，后者共同构成了全球最大的此类数据集。在所有评估中，iFedAvg 以可忽略的开销取得了具有竞争力的平均性能。它还在离群客户端上表现出显著提升，凸显了对个体数据集偏移的更强鲁棒性。最重要的是，我们的方法在细粒度层面提供有价值的客户端特定洞察，以指导可互操作的联邦学习。
引用
@article{arxiv.2107.06580,
title = {IFedAvg: Interpretable Data-Interoperability for Federated Learning},
author = {David Roschewitz and Mary-Anne Hartley and Luca Corinzia and Martin Jaggi},
journal= {arXiv preprint arXiv:2107.06580},
year = {2021}
}