HARMONY：通过抑制异构分层联合学习中的表示偏斜，弥合个人化-泛化之间的鸿沟
机器学习
2026-05-11 v1 人工智能
摘要
移动设备面临多样化的资源限制和非独立同分布的数据类别分布，要求在本地进行快速推理以支持分布式类别的本地推断，同时在按需远程支持特定客户端的超出分布(OOH)类别。混合分层联合学习(Hybrid SFL)将个性化客户端前端(支持早期退出)与通用服务器后端结合，以平衡准确率和成本。然而，在客户端架构异构性下，现有的混合SFL面临表示偏斜问题，即来自定制提取器的特征在共享空间中无法对齐，导致负责OOH预测的服务器模型出现显著性能下降。我们提出HARMONY，是首个支持异构客户端架构的混合SFL框架。HARMONY修改元学习，以模拟跨参数和架构的多样化提取器，并学习个性化。为缓解表示偏斜，HARMONY在服务器端进行对比学习，以对齐提取特征，既不牺牲客户端的个性化，又不共享原始标签。相较于多个数据集和模型族中的前沿方法，HARMONY在无OOH情况下提升测试准确率最高可达43.0%，有OOH情况下提升28.3%，同时保持可接受的延迟。
引用
@article{arxiv.2605.07211,
title = {HARMONY: Bridging the Personalization-Generalization Gap by Mitigating Representation Skew in Heterogeneous Split Federated Learning},
author = {Jiseok Youn and You Rim Choi and Goodsol Lee and Sangtae Ha and Hyung-Sin Kim and Saewoong Bahk},
journal= {arXiv preprint arXiv:2605.07211},
year = {2026}
}
备注
7 pages (except references), 5 figures