OnlineBEV：基于多摄像头 3D 感知的鸟瞰视角中递归时序融合
计算机视觉与模式识别
2025-07-14 v1
摘要
多视角摄像头-based 3D 感知可通过从透视图到鸟瞰视角 (BEV) 转换获取的 BEV 特征来实现。已有研究表明，通过结合来自多个摄像头帧的序列 BEV 特征可进一步提升这些 3D 感知方法的性能。然而，即便补偿了自动驾驶代理的自身运动，组合大量图像帧的时序聚合仍导致性能提升受限。这种限制源于由于物体运动导致 BEV 特征随时间变化的动态变化。本文引入一种新型时序 3D 感知方法 OnlineBEV，通过递归结构将 BEV 特征在时间上进行融合。该结构以最小内存开销增加有效组合特征的数量。然而，必须在时序上对特征进行空间对齐，以维持优异性能。OnlineBEV 采用 Motion-guided BEV Fusion Network (MBFNet) 实现时序特征对齐。MBFNet 从连续 BEV 帧中提取运动特征，并利用这些运动特征动态地将历史 BEV 特征与当前 BEV 特征对齐。为强制时序特征对齐，我们采用 Temporal Consistency Learning Loss 来捕捉历史与目标 BEV 特征之间的差异。在 nuScenes 数据集基准测试中进行的实验表明，OnlineBEV 在当前最佳方法 SOLOFusion 之上取得显著性能提升。OnlineBEV 在 nuScenes 测试集上实现 63.9% 的 NDS，记录了基于摄像头的 3D 对象检测任务的最新性能。
引用
@article{arxiv.2507.08644,
title = {OnlineBEV: Recurrent Temporal Fusion in Bird's Eye View Representations for Multi-Camera 3D Perception},
author = {Junho Koh and Youngwoo Lee and Jungho Kim and Dongyoung Lee and Jun Won Choi},
journal= {arXiv preprint arXiv:2507.08644},
year = {2025}
}
备注
Accepted to Transactions on Intelligent Transportation Systems