解锁过往信息：协作鸟瞰图预测中的时序嵌入
计算机视觉与模式识别
2026-02-05 v2
摘要
精确且全面的鸟瞰图 (BEV) 语义分割对于确保自动驾驶中的安全与主动导航至关重要。尽管协作感知已超越了单智能体系统的检测能力，但协作感知中流行的基于摄像头的算法忽略了从历史观测中获得的宝贵信息。当传感器故障或通信问题时，这一局限变得尤为关键，因为协作感知会退化为单智能体感知，导致性能下降和 BEV 分割图不完整。本文介绍了 TempCoBEV，一个旨在将历史线索融入当前观测的时间模块，从而提高 BEV 地图分割的质量和可靠性。我们提出了一种重要性引导的注意力架构，以有效整合时间信息，该架构优先考虑对 BEV 地图分割相关的属性。TempCoBEV 是一个独立的时间模块，可以无缝集成到最先进的基于摄像头的协作感知模型中。我们通过在 OPV2V 数据集上的大量实验证明，TempCoBEV 在预测当前和未来的 BEV 地图分割方面优于非时间模型，尤其是在涉及通信故障的场景中。我们展示了 TempCoBEV 的有效性及其将历史线索整合到当前 BEV 地图中的能力，在最佳通信条件下将预测性能提高了最多 2%，在通信故障下提高了最多 19%。代码可在 https://github.com/cvims/TempCoBEV 获取。
引用
@article{arxiv.2401.14325,
title = {Unlocking Past Information: Temporal Embeddings in Cooperative Bird's Eye View Prediction},
author = {Dominik Rößle and Jeremias Gerner and Klaus Bogenberger and Daniel Cremers and Stefanie Schmidtner and Torsten Schön},
journal= {arXiv preprint arXiv:2401.14325},
year = {2026}
}
备注
Copyright 2024 IEEE. This is the accepted version of the paper. In 2024 IEEE Intelligent Vehicles Symposium (IV), pp. 2220-2225. Official paper available at https://doi.org/10.1109/IV55156.2024.10588608