CoBo：基于双层优化的协作学习
机器学习
2024-09-10 v1 分布式、并行与集群计算
摘要
协作学习是通过实现客户端之间的通信来更有效地训练多个客户端的重要工具。然而，识别有用的客户端具有挑战性，且通常会引入显著的开销。在本文中，我们将客户端选择和模型训练建模为两个相互关联的优化问题，提出了一种用于协作学习的新型双层优化问题。我们引入了 CoBo，这是一种可扩展且具有弹性的 SGD 型交替优化算法，能够高效解决这些问题并具有理论收敛保证。在实验中，CoBo 取得了卓越的性能，在涉及分布在 80 个客户端的数据集且具有高度异构性的任务上，准确率比流行的个性化算法高出 9.3%。
引用
@article{arxiv.2409.05539,
title = {CoBo: Collaborative Learning via Bilevel Optimization},
author = {Diba Hashemi and Lie He and Martin Jaggi},
journal= {arXiv preprint arXiv:2409.05539},
year = {2024}
}