信任谁？联邦蒸馏中聚合客户端预测
机器学习
2026-03-26 v2
摘要
在数据异质性（例如类别不匹配）条件下，客户端可能对属于不熟悉类别的实例产生不可靠的预测。此类预测的等权组合可能污染蒸馏所用的教师信号。在本文中，我们对联邦蒸馏进行了理论分析，表明在共享公共数据集上聚合客户端预测会收敛到最优解的一个邻域，其中邻域大小由聚合质量决定。我们进一步提出了两种不确定性感知的聚合方法 和 ，它们利用基于密度的不确定性估计来降低不可靠客户端预测的权重。在图像和文本分类基准上的实验表明，我们的方法在高数据异质性条件下特别有效，而在异质性较低时与标准平均方法表现一致。
引用
@article{arxiv.2509.15147,
title = {Who to Trust? Aggregating Client Predictions in Federated Distillation},
author = {Viktor Kovalchuk and Denis Son and Arman Bolatov and Mohsen Guizani and Samuel Horváth and Maxim Panov and Martin Takáč and Eduard Gorbunov and Nikita Kotelevskii},
journal= {arXiv preprint arXiv:2509.15147},
year = {2026}
}