聚合与否？探索基于 DNN 的联邦学习在不同非 IID 场景下何处私有化
机器学习
2021-07-27 v1
摘要
尽管联邦学习（FL）近来被提出用于高效分布式训练与数据隐私保护，它仍面临诸多障碍。其中之一是客户端间自然存在的统计异质性，使得本地数据分布非独立同分布（即 non-iid），这给模型聚合与个性化带来挑战。对于采用深度神经网络（DNN）的 FL，将部分层私有化是针对 non-iid 问题的一种简单而有效的解决方案。然而，我们应当私有化哪些层以促进学习过程？不同类别的 non-iid 场景是否有偏好的私有化方式？我们能否在 FL 过程中自动学习最合适的私有化方式？在本文中，我们通过在多个 FL 基准上的大量实验研究回答了这些问题。首先，我们给出了这些基准的详细统计并将其归类为协变量偏移与标签偏移 non-iid 场景。接着，我们考察了粗粒度与细粒度的网络切分，并探索偏好的私有化方式是否与 non-iid 场景的具体类别存在潜在关联。我们的发现令人振奋，例如，即使在标签偏移 non-iid 场景中，私有化基础层也能提升性能，这与一些自然猜想不一致。我们还发现这些私有化方式均无法在 Shakespeare 基准上提升性能，并猜测 Shakespeare 可能并非严重的 non-iid 场景。最后，我们提出了几种通过 cross-stitch、软注意力与硬选择自动学习何处聚合的方法。我们主张所提方法可作为探索新颖 non-iid 场景下何处私有化的初步尝试。
引用
@article{arxiv.2107.11954,
title = {Aggregate or Not? Exploring Where to Privatize in DNN Based Federated Learning Under Different Non-IID Scenes},
author = {Xin-Chun Li and Le Gan and De-Chuan Zhan and Yunfeng Shao and Bingshuai Li and Shaoming Song},
journal= {arXiv preprint arXiv:2107.11954},
year = {2021}
}