StreamingFlow：基于神经常微分方程的异步多模态数据流占用率流式预测
计算机视觉与模式识别
2024-06-12 v2
摘要
预测周围环境的未来占用状态是自动驾驶的一项关键任务。然而，当前性能最佳的单模态方法或多模态融合感知方法只能预测未来占用状态的统一快照，并且需要严格同步的传感器数据进行传感器融合。我们提出了一种新颖的框架 StreamingFlow，以突破这些强限制。StreamingFlow 是一种新颖的鸟瞰图（BEV）占用率预测器，它接收异步多传感器数据流进行融合，并对任意未来时间戳的占用地图进行流式预测。通过将神经常微分方程（N-ODE）集成到循环神经网络中，StreamingFlow 学习 BEV 特征在时间范围上的导数，在融合过程中更新隐式传感器的 BEV 特征，并将 BEV 状态传播到所需的未来时间点。它展示了良好的预测零样本泛化能力，体现在对观测预测时间范围的内插和对未见过的更远未来时期的合理外推上。在 nuScenes 和 Lyft L5 两个大规模数据集上的大量实验表明，StreamingFlow 显著优于以往基于视觉和基于激光雷达的方法，并且与最先进的基于融合的方法相比，表现出更优越的性能。
引用
@article{arxiv.2302.09585,
title = {StreamingFlow: Streaming Occupancy Forecasting with Asynchronous Multi-modal Data Streams via Neural Ordinary Differential Equation},
author = {Yining Shi and Kun Jiang and Ke Wang and Jiusi Li and Yunlong Wang and Mengmeng Yang and Diange Yang},
journal= {arXiv preprint arXiv:2302.09585},
year = {2024}
}
备注
cvpr2024 poster (highlight), code at https://github.com/synsin0/StreamingFlow