TinyProto：稀疏原型的通信高效联邦学习在资源受限环境中
机器学习
2025-07-08 v1
摘要
在资源受限环境中，联邦学习中的通信效率仍然是一个关键挑战。虽然原型联邦学习通过共享类原型（即 penultimate 层的均值激活）来减少通信开销，而不是共享模型参数，但其效率随着特征维度和类别数的增加而下降。我们提出了TinyProto，通过类原型稀疏化(CPS)和自适应原型缩放来解决这些限制。CPS通过为类原型分配特定维度并仅传输非零元素来实现结构化稀疏性，而自适应缩放则根据类别分布调整原型。我们的实验表明，TinyProto在通信成本上比现有方法降低最高可达4倍，同时保持性能。除了通信效率，TinyProto还具有关键优势：在压缩过程中无需客户端计算开销，并支持异构架构，使其适用于资源受限的异构联邦学习。
引用
@article{arxiv.2507.04327,
title = {TinyProto: Communication-Efficient Federated Learning with Sparse Prototypes in Resource-Constrained Environments},
author = {Gyuejeong Lee and Daeyoung Choi},
journal= {arXiv preprint arXiv:2507.04327},
year = {2025}
}