CoRe-Fed：通过联合嵌入蒸馏桥接协作公平性与表征公平性
机器学习
2026-02-03 v1
摘要
随着分布式数据源的不断增长，联邦学习（Federated Learning）已成为通过去中心化模型训练实现协同智能的关键方法，同时能够保留数据隐私。然而，传统的联邦学习算法常因数据分布异构性和参与度不均等问题导致客户端间性能差异，进而产生不公平的结果。具体而言，我们聚焦于两类核心公平性挑战：一种是表征偏差（representation bias），源于客户端表征之间对齐不一致；另一种是协作偏差（collaborative bias），源于聚合过程中贡献不均等。两者均会损害模型性能和可解释性。为缓解这些差异，我们提出了 CoRe-Fed 框架，通过嵌入级别的正则化和公平感知聚合，构建协作公平性与表征公平性之间的统一优化框架。首先，引入对齐驱动机制，促进局部嵌入与全局嵌入之间的语义一致性，以减少表征的发散性。随后，采用基于动态奖惩的聚合策略，根据客户端的参与历史和嵌入对齐程度调整其权重，以实现贡献感知的聚合。广泛的实验在多样化模型和数据集上表明，CoRe-Fed 在改善公平性和模型性能方面均优于当前最先进的基线算法。
引用
@article{arxiv.2602.00647,
title = {CoRe-Fed: Bridging Collaborative and Representation Fairness via Federated Embedding Distillation},
author = {Noorain Mukhtiar and Adnan Mahmood and Quan Z. Sheng},
journal= {arXiv preprint arXiv:2602.00647},
year = {2026}
}
备注
7 pages (main content), 2 pages (references), Accepted in AAAI 2026