FedCal: 通过聚合参数化缩放器实现联邦学习中的局部和全局校准
机器学习
2024-06-05 v2 分布式、并行与集群计算
摘要
联邦学习(FL)使得跨分布式数据所有者的协作机器学习成为可能，但数据异构性对模型校准提出了挑战。虽然先前的工作侧重于提高非独立同分布数据的准确性，但校准问题仍未得到充分探索。本研究表明，现有的FL聚合方法导致次优校准，理论分析表明，尽管限制了客户端标签分布的方差，全局校准误差仍然渐近地有下界。为了解决这个问题，我们提出了一种新颖的联邦校准(FedCal)方法，强调局部和全局校准。它利用客户端特定的缩放器进行局部校准，以有效纠正输出偏差而不牺牲预测精度。然后通过权重平均聚合这些缩放器以生成全局缩放器，最小化全局校准误差。大量实验表明，FedCal显著优于最佳基线，平均降低全局校准误差47.66%。
引用
@article{arxiv.2405.15458,
title = {FedCal: Achieving Local and Global Calibration in Federated Learning via Aggregated Parameterized Scaler},
author = {Hongyi Peng and Han Yu and Xiaoli Tang and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2405.15458},
year = {2024}
}
备注
This paper has been accepted by ICML'24