FedCiR：面向联邦非 IID 特征的客户端不变表示学习
机器学习
2023-08-31 v1 人工智能
摘要
联邦学习（FL）是一种分布式学习范式，可在不共享原始数据的情况下最大化边缘设备数据驱动模型的潜力。然而，设备通常具有非独立同分布（non-IID）数据，意味着其本地数据分布可能差异显著。跨设备输入数据分布的异质性，通常称为特征偏移问题，会对全局模型的训练收敛和准确性产生不利影响。为分析特征偏移问题的内在原因，我们推导了 FL 中的泛化误差界，这促使我们提出 FedCiR，一种客户端不变表示学习框架，使客户端能够提取信息丰富且客户端不变的特徴。具体而言，我们改进了表示与标签之间的互信息项以鼓励表示携带本质分类知识，并减小以标签为条件的客户端集合与表示之间的互信息项以促进客户端的表示具有客户端不变性。我们进一步将两种正则化项纳入 FL 框架，以用近似全局表示分布界定互信息项，从而补偿真实全局表示分布的缺失，进而实现信息丰富且客户端不变的特征提取。为实现全局表示分布近似，我们提出由服务器执行且不损害隐私的无数据机制。大量实验证明了我们的方法在实现客户端不变表示学习和解决数据异质性问题上的有效性。
引用
@article{arxiv.2308.15786,
title = {FedCiR: Client-Invariant Representation Learning for Federated Non-IID Features},
author = {Zijian Li and Zehong Lin and Jiawei Shao and Yuyi Mao and Jun Zhang},
journal= {arXiv preprint arXiv:2308.15786},
year = {2023}
}