降低通信开销的去中心化联邦蒸馏的收敛可视化器
网络与互联网体系结构
2023-12-20 v1 机器学习
摘要
联邦学习 (FL) 无需共享数据即可实现协作学习,从而防止隐私泄露。为了将 FL 扩展为完全去中心化的算法,研究人员通过将机器学习 (ML) 任务视为参数优化问题,将分布式优化算法应用于 FL。相反,作者先前工作中提出的基于共识的多跳联邦蒸馏 (CMFD) 使神经网络 (NN) 模型在函数空间而非参数空间中相互接近。因此,本研究解决了 CMFD 的两个未决挑战:(1) 通信开销降低和 (2) 模型收敛可视化。基于所提出的动态通信开销降低方法 (DCCR),网络中传输的数据量得以减少,但预测精度略有下降。此外,还提出了一种在函数空间中可视化 NN 模型之间距离的技术。该技术通过将无限维函数近似为数值向量来应用降维技术,以可视化模型通过分布式学习算法发生变化的轨迹。
引用
@article{arxiv.2312.11905,
title = {Convergence Visualizer of Decentralized Federated Distillation with Reduced Communication Costs},
author = {Akihito Taya and Yuuki Nishiyama and Kaoru Sezaki},
journal= {arXiv preprint arXiv:2312.11905},
year = {2023}
}
备注
(c) 2023 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works