神经正切核赋能的联邦学习
机器学习
2022-06-14 v3 人工智能
摘要
联邦学习（FL）是一种保护隐私的范式，多个参与者在不共享原始数据的情况下联合解决机器学习问题。与传统分布式学习不同，FL 的一个独特特征是统计异质性，即参与者间的数据分布彼此不同。同时，近期在神经网络解释方面的进展见证了神经正切核（NTKs）在收敛分析中的广泛使用。本文中，我们提出一种由 NTK 框架赋能的新型 FL 范式。该范式通过传输比传统 FL 范式更具表达力的更新数据来应对统计异质性挑战。具体而言，参与者上传的是样本级 Jacobian 矩阵，而非模型权重/梯度。服务器随后构造经验核矩阵以更新全局模型，而无需显式执行梯度下降。我们进一步开发了具有更高通信效率和增强隐私的变体。数值结果表明，与联邦平均相比，所提范式可在减少一个数量级通信轮数的同时达到相同精度。
引用
@article{arxiv.2110.03681,
title = {Neural Tangent Kernel Empowered Federated Learning},
author = {Kai Yue and Richeng Jin and Ryan Pilgrim and Chau-Wai Wong and Dror Baron and Huaiyu Dai},
journal= {arXiv preprint arXiv:2110.03681},
year = {2022}
}
备注
Accepted by ICML 2022