软标签缓存与锐化：面向通信高效的联邦蒸馏
机器学习
2026-02-02 v4
摘要
联邦学习（FL）通过跨去中心化客户端协作模型训练来增强隐私，使数据保持在本地。然而，传统 FL 依赖频繁的参数共享，导致通信开销高且模型异构性受限。基于蒸馏的 FL 方法通过共享预测（软标签，即归一化概率分布）来解决这些问题，但常涉及跨通信轮次的冗余传输，降低效率。我们提出了 SCARLET，一种新型框架集成同步软标签缓存和增强型熵归约聚合（Enhanced ERA）机制。SCARLET 通过重复利用缓存的软标签来最小化冗余通信，在通信成本上较现有方法降低最高可达 50%，同时保持具竞争力的准确性。Enhanced ERA 解决了常规基于温度的聚合的根本性不稳定性，确保在多样化客户端场景中实现稳健控制和高性能。实验评估表明，SCARLET 在准确性和通信效率方面 consistently 优于最先进的基于蒸馏的 FL 方法。SCARLET 的实现已公开于 https://github.com/kitsuyaazuma/SCARLET。
引用
@article{arxiv.2504.19602,
title = {Soft-Label Caching and Sharpening for Communication-Efficient Federated Distillation},
author = {Kitsuya Azuma and Takayuki Nishio and Yuichi Kitagawa and Wakako Nakano and Takahito Tanimura},
journal= {arXiv preprint arXiv:2504.19602},
year = {2026}
}
备注
23 pages, 18 figures. Accepted to IEEE Transactions on Mobile Computing (TMC)