CoDream：交换梦想而非模型——异构模型的联邦聚合
机器学习
2024-02-28 v2 人工智能
摘要
联邦学习通过聚合模型参数，实现了跨分散数据的机器学习模型协同优化。我们的方法扩展了这一概念，聚合的是从模型中提取的“知识”，而非模型参数。我们提出了一种名为CoDream的新框架，其中客户端在输入数据空间中利用联邦优化协同优化随机初始化的数据，类似于联邦学习中优化随机初始化的模型参数。我们的关键洞察是，联合优化这些数据可以有效捕捉全局数据分布的特性。在数据空间中共享知识带来了诸多优势：(1) 模型无关的协同学习，即不同客户端可以拥有不同的模型架构；(2) 通信开销与模型大小无关，消除了模型参数的可扩展性问题；(3) 兼容安全聚合，从而保留了联邦学习的隐私优势；(4) 允许对共享知识进行自适应优化以实现个性化学习。我们在标准联邦学习任务上对CoDream进行了实证验证，结果表明尽管不共享模型参数，其性能仍具有竞争力。我们的代码：https://mitmedialab.github.io/codream.github.io/
引用
@article{arxiv.2402.15968,
title = {CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models},
author = {Abhishek Singh and Gauri Gupta and Ritvik Kapila and Yichuan Shi and Alex Dang and Sheshank Shankar and Mohammed Ehab and Ramesh Raskar},
journal= {arXiv preprint arXiv:2402.15968},
year = {2024}
}
备注
16 pages, 12 figures, 5 tables