基于特征流预测的车路协同 3D 目标检测
计算机视觉与模式识别
2023-03-21 v1
摘要
协同利用自车与基础设施传感器数据可显著增强自动驾驶的感知能力。然而，交通环境中的时间异步性与有限的无线通信会导致融合错位并影响检测性能。本文提出了 Feature Flow Net (FFNet)，一种新颖的协同检测框架，使用特征流预测模块来解决车路协同 3D 目标检测中的这些问题。FFNet 不传输从静态图像提取的特征图，而是传输特征流，利用连续基础设施帧的时间相干性来预测未来特征并补偿异步性。此外，我们引入了一种自监督方法，使 FFNet 能够生成具有特征预测能力的特征流。实验结果表明，在 DAIR-V2X 数据集上，当时间异步性超过 200 时，我们提出的方法优于现有的协同检测方法，且所需的原始数据传输成本不超过 1/10。代码可在 \href{https://github.com/haibao-yu/FFNet-VIC3D}{https://github.com/haibao-yu/FFNet-VIC3D} 获取。
引用
@article{arxiv.2303.10552,
title = {Vehicle-Infrastructure Cooperative 3D Object Detection via Feature Flow Prediction},
author = {Haibao Yu and Yingjuan Tang and Enze Xie and Jilei Mao and Jirui Yuan and Ping Luo and Zaiqing Nie},
journal= {arXiv preprint arXiv:2303.10552},
year = {2023}
}
备注
Under Review