TCT：利用自举神经正切核凸化联邦学习
机器学习
2022-10-06 v2 分布式、并行与集群计算
最优化与控制
机器学习
摘要
当客户端具有异构数据分布时，最先进的联邦学习方法可能远逊于其中心化对应方法。对于神经网络，即便中心化 SGD 轻易找到对所有客户端同时表现良好的解，当前联邦优化方法仍无法收敛至可比解。我们表明，这种性能差距主要可归因于非凸性带来的优化挑战。具体而言，我们发现网络的前几层确实学习了有用特征，但最后几层未能加以利用。即，应用于该非凸问题的联邦优化扭曲了最后几层的学习。利用此观察，我们提出训练-凸化-训练（TCT）流程以规避该问题：首先，使用现成方法（如 FedAvg）学习特征；然后，优化由网络经验神经正切核近似得到的凸化问题。在客户端数据异构时，我们的技术在 FMNIST 上带来最高 +36%、在 CIFAR10 上最高 +37% 的准确率提升。
引用
@article{arxiv.2207.06343,
title = {TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent Kernels},
author = {Yaodong Yu and Alexander Wei and Sai Praneeth Karimireddy and Yi Ma and Michael I. Jordan},
journal= {arXiv preprint arXiv:2207.06343},
year = {2022}
}
备注
Accepted at Neural Information Processing Systems (NeurIPS) 2022. V2 releases code