面向分布异构数据的联邦印象学习
机器学习
2024-10-10 v2 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
标准的基于深度学习的分类方法在现实临床应用中可能并不总是实用，因为它们需要集中收集所有样本。联邦学习 (FL) 提供了一种范式，能够在不要求客户共享数据的情况下从分布式数据集中进行学习，这有助于缓解隐私和数据所有权问题。在 FL 中，由于不同健康中心数据收集协议和患者人口统计信息的差异，数据异构性导致局部训练常见次优收敛。通过本研究中的实验，我们展示数据异构性导致局部训练期间发生灾难性遗忘现象。我们提出 FedImpres，通过恢复代表全局信息的合成数据来缓解灾难性遗忘，形成联邦印象。为实现这一点，我们从每轮通信中蒸馏全局模型。随后，我们将合成数据与本地数据一起用于增强本地训练的泛化能力。广泛的实验表明，该方法在包含标签不平衡和域迁移的 BloodMNIST 和 Retina 数据集上实现了最先进的性能，分类准确率提升最高可达 20%。
引用
@article{arxiv.2409.07351,
title = {Federated Impression for Learning with Distributed Heterogeneous Data},
author = {Atrin Arya and Sana Ayromlou and Armin Saadat and Purang Abolmaesumi and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2409.07351},
year = {2024}
}