AutoFed：面向鲁棒自动驾驶的异质性感知联邦多模态学习
机器学习
2023-03-31 v3 人工智能
计算机视觉与模式识别
摘要
基于车载传感器（如激光雷达、雷达与相机）的目标检测在自动驾驶（AD）中起着关键作用，这些传感器在模态上互为补充。尽管众感可能利用这些海量传感器推导更全面的知识，联邦学习（FL）似乎是释放该潜力的必要工具：它使自动驾驶车辆（AVs）能够训练机器学习模型而无需显式共享原始传感数据。然而，多模态传感器在分布式 AVs 间引入了各种数据异质性（例如标签数量偏斜与模态差异），对有效 FL 提出了关键挑战。为此，我们提出 AutoFed 作为一种异质性感知 FL 框架，以充分挖掘 AVs 上的多模态传感数据，从而实现鲁棒 AD。具体地，我们首先提出一种新颖模型，利用伪标注避免将未标注物体误判为背景。我们还提出一种基于自编码器的数据填补方法，以可用模态填补（某些 AVs 的）缺失数据模态。为 further 调和异质性，我们最终提出一种利用客户端模型间相似度的客户端选择机制，以提升训练稳定性与收敛速度。我们在基准数据集上的实验证实，AutoFed 在精确率与召回率上均大幅优于现状方法，同时对恶劣天气条件表现出强鲁棒性。
引用
@article{arxiv.2302.08646,
title = {AutoFed: Heterogeneity-Aware Federated Multimodal Learning for Robust Autonomous Driving},
author = {Tianyue Zheng and Ang Li and Zhe Chen and Hongbo Wang and Jun Luo},
journal= {arXiv preprint arXiv:2302.08646},
year = {2023}
}