关于去中心化联邦学习中延迟客户端快速适应：基于质心对齐蒸馏的方法
机器学习
2025-08-06 v1
摘要
去中心化联邦学习 (DFL) 在异步环境中面临迟到客户端适应缓慢和高通信成本的问题，这些限制显著影响整体性能。为此，我们提出了 DFedCAD，一种通过质心对齐蒸馏实现快速适应的新框架。DFedCAD 首先采用加权聚类修剪 (Weighted Cluster Pruning, WCP) 将模型压缩为代表性质心，从而大幅降低通信开销。随后，它通过一种新颖的结构距离度量和可微 k-均值蒸馏模块，使迟到客户端能够智能地对等知识进行加权和对齐，从而实现高效的端到端知识传递。大量实验在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上表明，DFedCAD 在所有评估设置下均实现了最先进的性能，同时将通信开销降低了 86% 以上。我们的框架为在动态真实场景中高效的去中心化学习提供了可扩展且实用的解决方案。
引用
@article{arxiv.2508.02993,
title = {On the Fast Adaptation of Delayed Clients in Decentralized Federated Learning: A Centroid-Aligned Distillation Approach},
author = {Jiahui Bai and Hai Dong and A. K. Qin},
journal= {arXiv preprint arXiv:2508.02993},
year = {2025}
}
备注
This paper is currently under peer review