个性化联邦与协作学习中的样本最优性与 All-for-all 策略
最优化与控制
2022-02-02 v2
摘要
在个性化联邦学习中，一个可能规模庞大的智能体集合中的每个成员都旨在训练一个模型，使其在自身本地数据分布上平均的损失函数最小化。我们在随机优化的视角下研究这一问题。具体而言，我们引入了信息论下界，界定所有智能体需提供的样本数量，以近似最小化固定智能体的泛化误差。然后，我们在 all-for-one 和 all-for-all 设置下提供了匹配这些下界的策略，在这两种设置中，分别有一个或所有智能体希望最小化其自身的局部函数。我们的策略基于梯度过滤方法：在提供了关于局部数据分布或函数之间距离或差异的某些先验知识后，给定智能体对接收来自其他智能体的随机梯度进行过滤和聚合，以实现最优的偏差-方差权衡。
引用
@article{arxiv.2201.13097,
title = {Sample Optimality and All-for-all Strategies in Personalized Federated and Collaborative Learning},
author = {Mathieu Even and Laurent Massoulié and Kevin Scaman},
journal= {arXiv preprint arXiv:2201.13097},
year = {2022}
}