WAFFLe：面向联邦学习的权重匿名化分解
机器学习
2020-08-14 v1 机器学习
摘要
在数据敏感或私有的领域中，能够以分布式方式学习且数据从不离开本地设备的方法具有巨大价值。鉴于此需求，联邦学习已成为一种流行的训练范式。然而，许多联邦学习方法以传输数据换取为每个本地设备通信更新的权重参数。因此，一次本应直接危及数据的成功入侵反而授予了对本地模型的白盒访问权限，这为包括暴露联邦学习旨在保护的数据在内的诸多攻击敞开了大门。此外，在分布式场景中，单个客户端设备通常表现出高度统计异质性。许多常见联邦方法学习单一全局模型；尽管其平均表现可能良好，但当独立同分布假设被违背时性能下降，对偏离均值较远的个体欠拟合，并引发公平性问题。为解决这些问题，我们提出面向联邦学习的权重匿名化分解（WAFFLe），一种将 Indian Buffet Process 与神经网络共享权重因子字典相结合的方法。在 MNIST、FashionMNIST 和 CIFAR-10 上的实验表明，WAFFLe 在显著提升本地测试性能与公平性的同时，提供了额外的安全层。
引用
@article{arxiv.2008.05687,
title = {WAFFLe: Weight Anonymized Factorization for Federated Learning},
author = {Weituo Hao and Nikhil Mehta and Kevin J Liang and Pengyu Cheng and Mostafa El-Khamy and Lawrence Carin},
journal= {arXiv preprint arXiv:2008.05687},
year = {2020}
}