免费协方差：利用均值分布实现免训练联邦学习
机器学习
2025-10-13 v3 计算机视觉与模式识别
摘要
使用预训练模型已被发现可以减少数据异质性的影响并加速联邦学习算法。最近的工作探索了利用一阶和二阶统计量的免训练方法，在服务器端聚合本地客户端数据分布，无需任何训练即可实现高性能。本文提出了一种基于类协方差矩阵无偏估计量的免训练方法，该方法仅使用客户端通信到服务器的一阶统计量（即类均值）。我们展示了如何使用这些估计的类协方差来初始化全局分类器，从而在不实际共享协方差的情况下利用它们。我们还表明，仅使用类内协方差可以得到更好的分类器初始化。与仅共享类均值的方法相比，我们的方法在完全相同的通信成本下将性能提高了4-26%，并且与共享二阶统计量的方法相比，性能具有竞争力或更优，同时通信开销大幅降低。所提出的方法比联邦提示调优方法通信效率高得多，并且仍然优于它们。最后，使用我们的方法初始化分类器，然后进行联邦微调或线性探测，同样可以获得更好的性能。代码可在https://github.com/dipamgoswami/FedCOF获取。
引用
@article{arxiv.2412.14326,
title = {Covariances for Free: Exploiting Mean Distributions for Training-free Federated Learning},
author = {Dipam Goswami and Simone Magistri and Kai Wang and Bartłomiej Twardowski and Andrew D. Bagdanov and Joost van de Weijer},
journal= {arXiv preprint arXiv:2412.14326},
year = {2025}
}
备注
Accepted at NeurIPS 2025