联邦学习中间接多端信源编码的率和失真函数
信息论
2021-05-14 v3 人工智能
math.IT
机器学习
摘要
联邦学习（FL）的主要焦点之一是通信效率，因为在模型训练的每一轮中大量参与的边缘设备将其更新发送给边缘服务器。现有工作重构来自边缘设备的每个模型更新，并隐式假设本地模型更新在边缘设备间独立。然而在FL中，模型更新是一个间接多端信源编码问题，也称为CEO问题，其中每个边缘设备不能直接观测要在解码器处重构的梯度，而仅被提供一个含噪版本。现有工作未利用不同边缘所传输信息中的冗余。本文研究FL中间接多端信源编码问题的率区域。目标是在梯度方差的特定上界下获得最小可达速率。我们得到了无偏估计下二次向量高斯CEO问题的率区域，并推导了在梯度于边缘设备和维度上均相同的特殊情形中和率失真函数的显式公式。最后，我们分别基于和率失真函数分析了凸Minibatched SGD和非凸Minibatched SGD的通信效率。
引用
@article{arxiv.2101.08696,
title = {Sum-Rate-Distortion Function for Indirect Multiterminal Source Coding in Federated Learning},
author = {Naifu Zhang and Meixia Tao and Jia Wang},
journal= {arXiv preprint arXiv:2101.08696},
year = {2021}
}
备注
6 pages, 2 figures