通过任务算术知识集成实现多样化异构设备联邦学习
机器学习
2024-11-13 v2 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习已成为一种保持用户数据隐私的协作机器学习范式。尽管存在潜力，但标准联邦学习不支持来自不同型号的异构设备，后者在模型和数据集大小上差异巨大——从小型 IoT 设备到大型工作站。此限制仅部分地通过现有知识蒸馏技术得到缓解，后者通常无法在具有不同能力范围内的设备型号之间有效传递知识。这一失败主要源于两个问题：来自能力较小设备的有用逻辑被稀释，以及使用单一集成逻辑作为所有设备的蒸馏目标，这忽略了它们各自的学习能力和每个人的独特贡献。为解决这些挑战，我们引入了 TAKfl，这是一个基于知识蒸馈的新型框架，将来自每个设备原型的集体知识视为独立的任务，独立蒸馈以保留其独特贡献并避免稀释。TAKfl 还包含一种基于知识蒸馈的自正则化技术，以缓解与噪声和无监督集体蒸馏过程相关的问题。为集成独立蒸馈的知识，我们引入了自适应任务算术知识集成过程，使每个学生模型能够针对最佳性能进行知识集成。此外，我们提供了一系列理论结果，表明任务算术在具有不同能力的异构设备之间传递知识的有效性。广泛的评估表明，在 CV 和 NLP 任务上，TAKfl 在各种数据集和设置下实现了 SOTA 成绩，显著优于现有的基于 KD 的方法。代码已发布于 https://github.com/MMorafah/TAKFL
引用
@article{arxiv.2409.18461,
title = {Towards Diverse Device Heterogeneous Federated Learning via Task Arithmetic Knowledge Integration},
author = {Mahdi Morafah and Vyacheslav Kungurtsev and Hojin Chang and Chen Chen and Bill Lin},
journal= {arXiv preprint arXiv:2409.18461},
year = {2024}
}
备注
NeurIPS 2024