去中心化且无模型的联邦学习：基于共识的函数空间蒸馏
网络与互联网体系结构
2022-10-05 v4 分布式、并行与集群计算
机器学习
摘要
本文针对通过多跳网络连接的万物互联（IoE）设备，提出了一种完全去中心化的联邦学习（FL）方案。由于 FL 算法难以使机器学习（ML）模型的参数收敛，本文关注 ML 模型在函数空间中的收敛性。考虑到 ML 任务的代表性损失函数（如均方误差（MSE）和 Kullback-Leibler（KL）散度）为凸泛函，直接在函数空间中更新函数的算法可收敛至最优解。本文的核心思想是将基于共识的优化算法适配到函数空间中，并以分布式方式达到全局最优。本文首先分析了所提算法（称为元算法）在函数空间中的收敛性，并表明谱图理论可以类似于数值向量的方式应用于函数空间。随后，为实现该元算法，针对神经网络（NN）开发了基于共识的多跳联邦蒸馏（CMFD）。CMFD 利用知识蒸馏在相邻设备间实现函数聚合，而无需参数平均。CMFD 的一个优势是，即使分布式学习器采用不同的 NN 模型也能正常工作。尽管 CMFD 并未完全反映元算法的特性，但对元算法收敛性质的分析有助于直观理解 CMFD，且仿真评估表明 NN 模型在多项任务中通过 CMFD 实现收敛。仿真结果还表明，在弱连接网络中 CMFD 比参数聚合具有更高精度，且比参数聚合方法更稳定。
引用
@article{arxiv.2104.00352,
title = {Decentralized and Model-Free Federated Learning: Consensus-Based Distillation in Function Space},
author = {Akihito Taya and Takayuki Nishio and Masahiro Morikura and Koji Yamamoto},
journal= {arXiv preprint arXiv:2104.00352},
year = {2022}
}