通过分布内知识蒸馏均质化非独立同分布数据集以用于去中心化学习
机器学习
2024-02-27 v2 分布式、并行与集群计算
摘要
去中心化学习支持在多个节点上以分布式方式无服务器地训练深度神经网络（DNNs）。这允许使用大型数据集，以及能够利用广泛多样的数据源进行训练。然而，去中心化学习的一个关键挑战是各节点间数据分布的异质性。本文提出分布内知识蒸馏（In-Distribution Knowledge Distillation, IDKD）以应对异构数据分布的挑战。IDKD 的目标是均质化各节点间的数据分布。虽然这种数据均质化可通过牺牲隐私在节点间交换数据来实现，但 IDKD 利用各节点间共同的公共数据集在不破坏隐私约束的情况下达成同一目标。该公共数据集不同于训练数据集，用于从每个节点蒸馏知识并通过生成的标签将其传达给邻居。在传统知识蒸馏中，由于不论公共数据集样本与本地数据集的相似度如何均被使用，蒸馏模型的泛化能力会下降。因此，我们在每个节点引入分布外（Out-of-Distribution, OoD）检测器，以标注公共数据集中接近本地训练数据分布的子集。最终，仅在这些子集对应的标签间进行节点交换，并通过适当的标签平均，每个节点在这些数据子集及其本地数据上微调。我们在多个图像分类数据集和图拓扑上的实验表明，所提 IDKD 方案比传统知识蒸馏更有效，并以最小通信开销在异构分布数据上取得最先进的泛化性能。
引用
@article{arxiv.2304.04326,
title = {Homogenizing Non-IID datasets via In-Distribution Knowledge Distillation for Decentralized Learning},
author = {Deepak Ravikumar and Gobinda Saha and Sai Aparna Aketi and Kaushik Roy},
journal= {arXiv preprint arXiv:2304.04326},
year = {2024}
}