Calibre：面向公平与准确的自监督个性化联邦学习
机器学习
2024-12-31 v1 人工智能
分布式、并行与集群计算
摘要
在个性化联邦学习背景下，现有方法通过训练全局模型来提取可迁移的表征，随后让每个客户端基于有限数据样本训练个性化模型。自监督学习被视为一个有前景的方向，因为其产生的全局模型具有通用性，能为所有客户端促进公平的个性化。在数据跨客户端异构性情况下，使用 SSL 训练的全局模型无法学习高质量的个性化模型。本文表明，若全局模型在 SSL 训练时未作修改，其产生的表征会呈现模糊的类别边界，导致每个客户端的个性化学习在准确率方面表现不佳。为在不牺牲公平性优势的前提下提升 SSL 在准确率方面的表现，我们提出 Calibre，一个新的个性化联邦学习框架，通过保持更通用与更客户端相关表征之间的适当平衡来校准 SSL 表征。Calibre 基于理论依据设计，引入（1）作为辅助训练目标的客户端特定原型损失；以及（2）基于此类原型跨客户端的聚合算法。我们的实验结果在广泛的非独立同分布设置下表明，Calibre 在平均准确率和跨客户端公平性方面均实现了领先的性能。代码仓库：https://github.com/TL-System/plato/tree/main/examples/ssl/calibre。
引用
@article{arxiv.2412.20020,
title = {Calibre: Towards Fair and Accurate Personalized Federated Learning with Self-Supervised Learning},
author = {Sijia Chen and Ningxin Su and Baochun Li},
journal= {arXiv preprint arXiv:2412.20020},
year = {2024}
}
备注
ICDCS camera-ready paper, Code repo: https://github.com/TL-System/plato/tree/main/examples/ssl/calibre