去中心化机器学习的非独立同分布数据困境
机器学习
2020-08-20 v2 机器学习
摘要
许多大规模机器学习（ML）应用需要在不同设备和位置生成的数据集上执行去中心化学习。这类数据集对去中心化学习构成了重大挑战，因为其不同的上下文导致跨设备/位置的数据分布出现显著偏斜。在本文中，我们通过对一种常见数据偏斜类型——跨设备/位置的数据标签分布偏斜——进行去中心化深度神经网络（DNN）训练的详细实验研究，朝着更好地理解这一挑战迈出了一步。我们的研究表明：(i) 偏斜的数据标签是去中心化学习的一个根本且普遍的问题，在许多 ML 应用、DNN 模型、训练数据集和去中心化学习算法中造成显著的准确率损失；(ii) 该问题对于带有批归一化（batch normalization）的 DNN 模型尤其具有挑战性；(iii) 数据偏斜的程度是该问题难度的关键决定因素。基于这些发现，我们提出了 SkewScout，一种系统级方法，使去中心化学习算法的通信频率适应于数据分区之间（由偏斜引起的）准确率损失。我们还表明，组归一化（group normalization）可以恢复批归一化的大部分准确率损失。
引用
@article{arxiv.1910.00189,
title = {The Non-IID Data Quagmire of Decentralized Machine Learning},
author = {Kevin Hsieh and Amar Phanishayee and Onur Mutlu and Phillip B. Gibbons},
journal= {arXiv preprint arXiv:1910.00189},
year = {2020}
}