异构数据下的资源受限联邦边缘学习：建模与分析
机器学习
2021-11-05 v1 密码学与安全
网络与互联网体系结构
系统与控制
系统与控制
摘要
协作机器学习与无线通信技术的高效结合，形成了联邦边缘学习（FEEL），催生了一系列下一代智能应用。然而，由于网络连接的开放性，FEEL 框架通常涉及数百个远程设备（或客户端），导致通信成本高昂，这对资源受限的 FEEL 并不友好。为了解决这个问题，我们提出了一种具有快速收敛速度的分布式近似牛顿型算法，以缓解 FEEL 资源（在通信资源方面）受限的问题。具体来说，所提出的算法基于分布式 L-BFGS 算法改进，允许每个客户端通过分布式计算低成本的 Fisher 矩阵来近似高成本的 Hessian 矩阵，以找到“更好”的下降方向，从而加速收敛。其次，我们证明了所提出的算法在强凸和非凸情况下具有线性收敛性，并分析了其计算和通信复杂度。同样，由于连接的远程设备的异构性，FEEL 面临着异构数据和非独立同分布（non-IID）数据的挑战。为此，我们设计了一个简单但巧妙的训练方案，即 FedOVA，以解决异构数据带来的异构统计挑战。通过这种方式，FedOVA 首先将一个多分类问题分解为更简单的二分类问题，然后使用集成学习组合它们各自的输出。特别地，该方案可以很好地与我们的通信高效算法集成，以服务于 FEEL。数值结果验证了所提出算法的有效性和优越性。
引用
@article{arxiv.2110.07567,
title = {Resource-constrained Federated Edge Learning with Heterogeneous Data: Formulation and Analysis},
author = {Yi Liu and Yuanshao Zhu and James J. Q. Yu},
journal= {arXiv preprint arXiv:2110.07567},
year = {2021}
}
备注
Under View