LongShortNet：探索流式感知中的时间与语义特征融合
计算机视觉与模式识别
2023-03-31 v4 人工智能
多媒体
摘要
流式感知是自动驾驶中的一项关键任务，需要在自动驾驶系统的延迟与精度之间进行权衡。然而，当前的流式感知方法存在局限，因为它们仅依赖当前及相邻两帧来学习运动模式。这限制了其对复杂场景建模的能力，常导致较差的检测结果。为应对该局限，我们提出 LongShortNet，一种新颖的双路径网络，可捕获长期时间运动并将其与短期空间语义相融合以实现实时感知。LongShortNet 的显著之处在于，它是首个将长期时间建模拓展至流式感知的工作，实现了时空特征融合。我们在具有挑战性的 Argoverse-HD 数据集上评估了 LongShortNet，并证明其在几乎不增加计算成本的情况下优于现有的最先进（SOTA）方法。
引用
@article{arxiv.2210.15518,
title = {LongShortNet: Exploring Temporal and Semantic Features Fusion in Streaming Perception},
author = {Chenyang Li and Zhi-Qi Cheng and Jun-Yan He and Pengyu Li and Bin Luo and Hanyuan Chen and Yifeng Geng and Jin-Peng Lan and Xuansong Xie},
journal= {arXiv preprint arXiv:2210.15518},
year = {2023}
}
备注
Accepted at ICASSP 2023, source code is at https://github.com/zhiqic/LongShortNet