环路提升：一种无需中央服务器从异构数据中提取共享特征的高效方法
机器学习
2024-03-22 v1 人工智能
分布式、并行与集群计算
摘要
在联邦学习中，数据异构性显著影响性能。一种典型的解决方案是将这些参数分离为共享组件和个性化组件，这一概念在多任务学习中也有相关性。针对此问题，我们提出“环路提升”（LI），这是一种新颖的方法，能够增强这种分离和特征提取，而无需中央服务器或参与者之间的数据交换。我们的实验揭示了 LI 在多个方面的优越性：在个性化联邦学习环境中，LI 在不同场景下的准确率始终优于先进的 FedALA 算法。此外，LI 的特征提取器与聚合所有客户端数据时达到的性能非常接近。在全局模型环境中，使用带有堆叠个性化层和一个附加网络的 LI，也能产生与组合客户端数据场景相当的结果。此外，LI 的适应性扩展到多任务学习，简化了跨任务共同特征的提取，并避免了同时训练的需要。这种方法不仅提高了单个任务的性能，而且达到了与所有任务同时训练的经典多任务学习方法相当的准确率水平。LI 将环路拓扑与逐层和端到端训练相结合，兼容各种神经网络模型。本文还深入探讨了 LI 有效性的理论基础，提供了对其潜在应用的见解。代码位于 https://github.com/axedge1983/LI。
引用
@article{arxiv.2403.14371,
title = {Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server},
author = {Fei Li and Chu Kiong Loo and Wei Shiung Liew and Xiaofeng Liu},
journal= {arXiv preprint arXiv:2403.14371},
year = {2024}
}
备注
11 pages, 11 figures