FedRSU：面向路侧单元的场景流估计联邦学习
计算机视觉与模式识别
2024-08-13 v2 人工智能
摘要
路侧单元（RSU）可以通过车联网（V2X）通信显著提高自动驾驶车辆的安全性和鲁棒性。目前，单个 RSU 的使用主要集中在实时推理和 V2X 协作上，而忽略了 RSU 传感器收集的高质量数据的潜在价值。整合来自众多 RSU 的海量数据可以为模型训练提供丰富的数据源。然而，缺乏真值标注和传输海量数据的困难是充分挖掘这一隐藏价值的两个不可避免障碍。在本文中，我们介绍了 FedRSU，一种用于自监督场景流估计的创新联邦学习框架。在 FedRSU 中，我们提出了一种循环自监督训练范式，其中对于每个 RSU，每个时间戳点的场景流预测可以由其后续的未来多模态观测进行监督。FedRSU 的另一个关键组件是联邦学习，其中多个设备协作训练 ML 模型，同时保持训练数据本地和私密。借助循环自监督学习范式的力量，FL 能够利用来自 RSU 的无数未充分利用的数据。为了验证 FedRSU 框架，我们构建了一个大规模多模态数据集 RSU-SF。该数据集包含 17 个 RSU 客户端，涵盖了各种场景、模态和传感器设置。基于 RSU-SF，我们表明 FedRSU 可以极大地提高智能交通系统（ITS）中的模型性能，并在各种 FL 场景下提供全面的基准测试。据我们所知，我们为 FL 社区提供了第一个真实的 LiDAR-相机多模态数据集和基准测试。
引用
@article{arxiv.2401.12862,
title = {FedRSU: Federated Learning for Scene Flow Estimation on Roadside Units},
author = {Shaoheng Fang and Rui Ye and Wenhao Wang and Zuhong Liu and Yuxiao Wang and Yafei Wang and Siheng Chen and Yanfeng Wang},
journal= {arXiv preprint arXiv:2401.12862},
year = {2024}
}