通过多样化数据源提升车载网络中的去中心化联邦学习
机器学习
2022-09-07 v1 网络与互联网体系结构
摘要
近年来，联邦学习（FL）因能在分散客户端协同训练机器学习模型的同时保护数据隐私而受到深入研究。通常，会部署一个参数服务器（PS）来聚合不同客户端贡献的模型参数。去中心化联邦学习（DFL）由 FL 升级而来，允许客户端直接与其邻居聚合模型参数。DFL 尤其适用于车载网络，因为车辆以车对车（V2V）方式相互通信。然而，受车辆行驶路线与通信距离限制，单个车辆难以充分地与其他车辆交换模型。贡献于各车辆上模型的数据源可能不够多样化，导致模型精度不佳。为解决此问题，我们提出 DFL-DDS（具有多样化数据源的 DFL）算法以在 DFL 中多样化数据源。具体地，每辆车维护一个状态向量来记录每个数据源对其模型的贡献权重。采用 Kullback-Leibler（KL）散度来衡量状态向量的多样性。为促进 DFL 收敛，车辆通过最小化其状态向量的 KL 散度来调整每个数据源的聚合权重，其在多样化数据源方面的有效性可得到理论证明。最后，通过大量实验（使用 MNIST 与 CIFAR-10 数据集）评估了 DFL-DDS 的优越性，结果表明与 SOTA 基线相比，DFL-DDS 能加速 DFL 收敛并显著提升模型精度。
引用
@article{arxiv.2209.01750,
title = {Boost Decentralized Federated Learning in Vehicular Networks by Diversifying Data Sources},
author = {Dongyuan Su and Yipeng Zhou and Laizhong Cui},
journal= {arXiv preprint arXiv:2209.01750},
year = {2022}
}
备注
To appear in the 30th IEEE International Conference on Network Protocols (IEEE ICNP 2022)