基于关键点的深度特征融合用于自动驾驶协同车辆检测
计算机视觉与模式识别
2022-02-16 v2
摘要
研究车辆间共享协同感知消息（CPM）以减少遮挡，从而提高自动驾驶的感知精度与安全性。然而，高度准确的数据共享与低通信开销是协同感知的一大挑战，尤其在联网自动驾驶车辆之间需要实时通信时。本文中，我们提出了一种基于关键点、构建于 3D 目标检测器 PV-RCNN 之上的高效且有效的深度特征融合框架，称为 Fusion PV-RCNN（简称 FPV-RCNN），用于协同感知。我们引入了高性能边界框提议匹配模块和关键点选择策略，以压缩 CPM 大小并解决多车数据融合问题。此外，我们还提出了一种基于最大共识原则的有效的定位误差校正模块，以提升数据融合的鲁棒性。与鸟瞰图（BEV）关键点特征融合相比，FPV-RCNN 在专用于协同感知的合成数据集 COMAP 上、在较高评价准则（IoU 0.7）下检测精度提升约 9%。此外，其性能可与两个在共享中无数据损失的原始数据融合基线相媲美。而且，我们的方法还将 CPM 大小显著减小至小于 0.3 KB，因此约为先前工作中所用 BEV 特征图共享的 1/50。即便进一步减少 CPM 特征通道，即从 128 到 32，检测性能也未出现明显下降。我们的方法代码见 https://github.com/YuanYunshuang/FPV_RCNN。
引用
@article{arxiv.2109.11615,
title = {Keypoints-Based Deep Feature Fusion for Cooperative Vehicle Detection of Autonomous Driving},
author = {Yunshuang Yuan and Hao Cheng and Monika Sester},
journal= {arXiv preprint arXiv:2109.11615},
year = {2022}
}