课程学习在联邦学习中何时有效？
机器学习
2022-12-27 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习一个常被提及的开放问题是客户端存在数据异构性。理解联邦学习中准确率急剧下降的一条途径是审视客户端深度模型在不同“难度”级别数据上的行为，而这此前未被研究。本文中，我们研究联邦学习一个不同且极少被考察的维度：有序学习。具体而言，我们旨在探究有序学习原则如何有助于缓解联邦学习中的异构性影响。我们给出理论分析，并对涵盖三类学习的排序效果开展广泛实证研究：课程学习、反课程学习和随机课程学习。我们发现课程学习在很大程度上缓解了非IID性。有趣的是，客户端间数据分布差异越大，它们从有序学习中获益越多。我们提供分析解释这一现象，具体指出课程训练似乎使目标景观逐渐变得不那么凸，表明在训练过程初期有快速收敛的迭代。我们通过将联邦设备上的课程训练建模为带有局部偏置随机梯度的局部SGD，推导了凸和非凸目标下收敛性的定量结果。此外，受有序学习启发，我们提出一种新颖的客户端选择技术，该技术受益于客户端间现实存在的差异。我们所提出的客户端选择方法在与联邦学习中的有序学习结合应用时具有协同效应。
引用
@article{arxiv.2212.12712,
title = {When Do Curricula Work in Federated Learning?},
author = {Saeed Vahidian and Sreevatsank Kadaveru and Woonjoon Baek and Weijia Wang and Vyacheslav Kungurtsev and Chen Chen and Mubarak Shah and Bill Lin},
journal= {arXiv preprint arXiv:2212.12712},
year = {2022}
}