关于图像分类中通用与个性化联邦学习的桥接
机器学习
2022-07-12 v2 人工智能
摘要
联邦学习因其能够在多个客户端协作训练模型而无需访问其数据而具有前景,但当客户端数据分布彼此偏离时则显得脆弱。这种偏离进一步导致一个两难困境:"我们应优先考量所学模型的通用性能(供服务器未来使用)还是其个性化性能(供每个客户端使用)?"这两个看似竞争的目标使学界分裂为只关注其中之一,然而在本文中我们表明有可能同时兼顾两者。具体而言,我们提出了一种新颖的联邦学习框架,利用两个预测任务显式解耦模型的双重职责。一方面,我们引入了一族对非相同类分布具有鲁棒性的损失,使客户端能够以一致的优化目标训练通用预测器。另一方面,我们将个性化预测器表述为一个轻量级自适应模块,该模块被学习以在通用预测器之上最小化每个客户端的经验风险。借助这一我们命名为联邦鲁棒解耦(Fed-RoD)的双损失、双预测器框架,所学模型可同时取得最先进的通用与个性化性能,本质上桥接了这两项任务。
引用
@article{arxiv.2107.00778,
title = {On Bridging Generic and Personalized Federated Learning for Image Classification},
author = {Hong-You Chen and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2107.00778},
year = {2022}
}
备注
Accepted to International Conference on Learning Representations 2022 (ICLR 2022)