面向异构数据去中心化深度学习的跨特征对比损失
机器学习
2023-12-07 v3
摘要
当前最先进的去中心化学习算法大多假设数据分布为独立同分布（IID）。然而在实际场景中，分布式数据集在各智能体间可能具有显著异构的数据分布。本工作中，我们提出了一种用于异构数据去中心化学习的新方法，利用跨特征上的对比损失进行无数据知识蒸馏以提升性能。一对相邻智能体的跨特征是指：使用一个智能体的数据相对于另一个智能体的模型参数所得到的特征（即最后隐藏层激活）。我们通过在多个计算机视觉数据集（CIFAR-10、CIFAR-100、Fashion MNIST、Imagenette 和 ImageNet）、模型架构和网络拓扑上的详尽实验证明了所提技术的有效性。我们的实验表明，相较于其他现有的异构数据去中心化学习技术，所提方法取得了更优性能（测试准确率提升 0.2-4%）。
引用
@article{arxiv.2310.15890,
title = {Cross-feature Contrastive Loss for Decentralized Deep Learning on Heterogeneous Data},
author = {Sai Aparna Aketi and Kaushik Roy},
journal= {arXiv preprint arXiv:2310.15890},
year = {2023}
}
备注
12 pages, 7 figures, 11 tables. arXiv admin note: text overlap with arXiv:2305.04792