全局观测在联邦学习中如何起作用：将纵向训练融入横向联邦学习
机器学习
2021-12-13 v3 人工智能
分布式、并行与集群计算
多智能体系统
网络与互联网体系结构
摘要
联邦学习（FL）近年来作为一种变革性范式兴起，可在物联网中利用分布式数据集联合训练模型，同时避免集中收集数据。由于观测范围有限，此类数据集仅能反映局部信息，限制了训练模型的质量。实践中，全局信息与局部观测需联合考虑以学习出合理策略。然而，在横向 FL 中，中央机构仅作为模型聚合器，未利用其全局观测进一步提升模型。这在诸如网络系统中的交通流预测等任务中会显著降低性能，而全局信息可提升准确性。同时，出于数据安全，全局特征可能无法直接传输给智能体。因此，如何利用中央机构中的全局观测并保护其安全成为 FL 中的重要问题。本文我们提出一种纵向-横向联邦学习（VHFL）流程，在不增加额外通信轮次的情况下，以类似纵向 FL 的流程将全局特征共享给智能体。考虑延迟与丢包，我们分析 VHFL 的收敛性并通过实验验证其性能。结果表明，所提 VHFL 在保护全局数据安全的同时，相比横向 FL 提升了准确性。
引用
@article{arxiv.2112.01039,
title = {How global observation works in Federated Learning: Integrating vertical training into Horizontal Federated Learning},
author = {Shuo Wan and Jiaxun Lu and Pingyi Fan and Yunfeng Shao and Chenghui Peng and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2112.01039},
year = {2021}
}