网联自动驾驶车辆中基于混合特征融合的协同语义占用预测
计算机视觉与模式识别
2024-04-26 v2
摘要
自动驾驶车辆中的协同感知利用智能体之间的信息交换，旨在提升感知结果。以往的基于相机的协同3D感知方法通常采用3D边界框或鸟瞰图作为环境的表示。然而，这些方法在提供全面的3D环境预测方面存在不足。为了弥补这一差距，我们引入了第一种协同3D语义占用预测方法。特别地，它通过混合融合（i）语义和占用任务特征，以及（ii）车辆之间共享的压缩正交注意力特征，改进了局部3D语义占用预测。此外，由于缺乏专为语义占用预测设计的协同感知数据集，我们增强了一个现有的协同感知数据集，以包含3D协同语义占用标签，用于更稳健的评估。实验结果表明：（i）我们的协同语义占用预测比单个车辆的结果高出30%以上，（ii）基于语义占用的模型在后续感知应用中超越了最先进的协同3D检测技术，在道路环境中展示了增强的准确性和丰富的语义感知能力。
引用
@article{arxiv.2402.07635,
title = {Collaborative Semantic Occupancy Prediction with Hybrid Feature Fusion in Connected Automated Vehicles},
author = {Rui Song and Chenwei Liang and Hu Cao and Zhiran Yan and Walter Zimmer and Markus Gross and Andreas Festag and Alois Knoll},
journal= {arXiv preprint arXiv:2402.07635},
year = {2024}
}
备注
Accepted by CVPR2024. Website link: https://rruisong.github.io/publications/CoHFF