pFedLVM：自动驾驶中大型视觉模型驱动且基于潜在特征的个性化联邦学习框架
机器人学
2025-03-04 v3 分布式、并行与集群计算
摘要
基于深度学习的自动驾驶（AD）模型由于在领域不断变化的环境中数据异质性，通常表现出较差的泛化能力。虽然联邦学习（FL）可以提高AD模型（称为FedAD系统）的泛化能力，但传统模型往往随着累积训练数据量的逐渐增加而难以拟合。为了解决这个问题，在FedAD中使用大型视觉模型（LVM）代替传统的小模型是一个可行的选择，以便从大量数据中更好地学习表示。然而，在FedAD中实现LVM带来了三个挑战：（I）在参与车辆和中央服务器之间传输LVM相关的极高通信开销；（II）缺乏计算资源在每辆车上部署LVM；（III）由于LVM关注共享特征而忽略本地车辆特性导致的性能下降。为了克服这些挑战，我们提出了pFedLVM，一种LVM驱动的、基于潜在特征的个性化联邦学习框架。在这种方法中，LVM仅部署在中央服务器上，这有效减轻了单个车辆的计算负担。此外，中央服务器和车辆之间交换的是学习到的特征而不是LVM参数，这显著降低了通信开销。另外，我们利用所有参与车辆的共享特征和每辆车的个体特征来建立个性化学习机制。这使得每辆车的模型能够学习其他车辆的特征，同时保留其个性化特征，从而优于在通用FL中训练的全局共享模型。大量实验表明，pFedLVM优于现有的最先进方法。
引用
@article{arxiv.2405.04146,
title = {pFedLVM: A Large Vision Model (LVM)-Driven and Latent Feature-Based Personalized Federated Learning Framework in Autonomous Driving},
author = {Wei-Bin Kou and Qingfeng Lin and Ming Tang and Sheng Xu and Rongguang Ye and Yang Leng and Shuai Wang and Guofa Li and Zhenyu Chen and Guangxu Zhu and Yik-Chung Wu},
journal= {arXiv preprint arXiv:2405.04146},
year = {2025}
}
备注
This paper was submitted to CVPR 2024 in Nov. 2023