Watch Your Head：组装投影头以提升联邦模型的可靠性

联邦学习在处理异构数据时面临巨大挑战，导致性能下降和收敛问题。尽管在缓解此类影响方面已取得显著进展，但联邦模型的可靠性方面却在很大程度上被忽视。在本研究中，我们进行了大量实验，以调查通用联邦模型和个性化联邦模型的可靠性。我们的探索揭示了一个重要发现：\textbf{联邦模型在面对异构数据时表现出不可靠性}，即在分布内测试数据上校准效果差，且在分布外数据上不确定性水平低。这种不可靠性主要归因于有偏投影头（biased projection heads）的存在，它们将校准误差引入了联邦模型。受此观察启发，我们提出了“组装投影头”（Assembled Projection Heads, APH）方法，以增强联邦模型的可靠性。通过将现有投影头参数视为先验，APH 从该先验中随机采样多个初始化的投影头参数，并在不同学习率下利用本地可用数据进行针对性微调。这种头集成（head ensemble）将参数多样性引入确定性模型，消除了偏差，并通过头平均产生可靠的预测。我们在三个著名的联邦基准上评估了所提 APH 方法的有效性。实验结果验证了 APH 在模型校准和不确定性估计方面的功效。值得注意的是，APH 可以无缝集成到各种联邦方法中，但在大型模型中进行 100$\times$ 推理时，仅需不到 30\% 的额外计算成本。