CAFe: 成本和年龄感知的联邦学习
机器学习
2024-05-27 v1 分布式、并行与集群计算
信息论
math.IT
摘要
在许多联邦学习模型中，确保训练进展的常见策略是等待至少 个客户端（总共 个）在报告截止时间 内返回其本地梯度，一旦参数服务器广播了全局模型。如果足够多的客户端未在截止时间内报告，则该特定轮被视为失败轮，训练轮从头开始。如果足够多的客户端响应，则该轮被视为成功，所有响应客户端的本地梯度用于更新全局模型。无论哪种情况，未在截止时间内报告更新的客户端都浪费了其计算资源。更紧的截止时间（小 ）和等待更多参与客户端（大 ）导致大量失败轮，从而增加通信成本和计算资源浪费。然而，更大的 导致更长的轮持续时间，而更小的 可能导致噪声梯度。因此，需要优化参数 和 ，以最小化通信成本和资源浪费，同时保持可接受的收敛速度。在这方面，我们表明客户端在参数服务器的平均年龄显式出现在理论收敛界中，因此可以用作量化全局模型收敛的指标。我们提供了一种分析方案来选择此设置中的参数 和 。
引用
@article{arxiv.2405.15744,
title = {CAFe: Cost and Age aware Federated Learning},
author = {Sahan Liyanaarachchi and Kanchana Thilakarathna and Sennur Ulukus},
journal= {arXiv preprint arXiv:2405.15744},
year = {2024}
}