基于流的的特征融合用于车路协同三维目标检测
计算机视觉与模式识别
2023-11-06 v1
摘要
协同利用自车与基础设施传感器数据可显著增强自动驾驶感知能力。然而，不确定的时间异步与受限通信条件会导致融合错位，并限制基础设施数据的利用。为解决车路协同三维（VIC3D）目标检测中的这些问题，我们提出特征流网络（FFNet），一种新颖的协同检测框架。FFNet 是基于流的的特征融合框架，使用特征流预测模块预测未来特征并补偿异步。FFNet 传输特征流而非从静态图像提取的特征图，利用连续基础设施帧的时间相干性。此外，我们引入自监督训练方法，使 FFNet 能从原始基础设施序列生成具备特征预测能力的特征流。实验结果表明，所提方法在 DAIR-V2X 数据集上优于现有协同检测方法，且仅需约原始数据传输成本的 1/100，并在单一模型中覆盖所有延迟。代码见 \href{https://github.com/haibao-yu/FFNet-VIC3D}{https://github.com/haibao-yu/FFNet-VIC3D}。
引用
@article{arxiv.2311.01682,
title = {Flow-Based Feature Fusion for Vehicle-Infrastructure Cooperative 3D Object Detection},
author = {Haibao Yu and Yingjuan Tang and Enze Xie and Jilei Mao and Ping Luo and Zaiqing Nie},
journal= {arXiv preprint arXiv:2311.01682},
year = {2023}
}
备注
Accepted by NeurIPs2023. arXiv admin note: text overlap with arXiv:2303.10552