NTK-DFL：通过神经切向核提升异构环境下去中心化联邦学习
机器学习
2025-06-16 v2
摘要
去中心化联邦学习（DFL）是一种无需中心服务器或原始数据交换即可在多个参与者之间训练模型的协作机器学习框架。由于统计异构性，DFL面临挑战——参与者常常拥有反映本地环境和用户行为的不同分布的数据。最近的研究表明，神经切向核（NTK）方法在集中式框架中应用于联邦学习可导致性能提升。我们提出一种方法，利用NTK在去中心化环境中训练客户端模型，同时引入NTK演化与模型平均之间的协同作用。这种协同作用利用客户端间模型偏差，提高了异构环境下的准确率和收敛性。实验结果表明，在高度异构环境中，我们的方法优于基线方法，始终实现更高的准确率。此外，它所需的通信轮数仅为基线方法的4.6倍。我们在多个数据集、网络拓扑和异构性设置下验证了该方法，以确保其鲁棒性和泛化性。
引用
@article{arxiv.2410.01922,
title = {NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel},
author = {Gabriel Thompson and Kai Yue and Chau-Wai Wong and Huaiyu Dai},
journal= {arXiv preprint arXiv:2410.01922},
year = {2025}
}