ZOPP：面向自动驾驶的零样本离线全景感知框架

离线感知旨在自动为自动驾驶（AD）场景生成高质量3D标签。现有离线方法聚焦于具有封闭集分类体系的3D目标检测，未能匹配人类级识别能力在快速演进的感知任务上的表现。由于严重依赖人工标注以及数据不平衡和稀疏性的普遍存在，一个能够统一为自动驾驶场景中的各种元素自动打标签并满足感知任务不同需求的框架尚未被充分探索。本文提出了一种新颖的多模态零样本离线全景感知（ZOPP）框架，面向自动驾驶场景。ZOPP融合了视觉基础模型的强大零样本识别能力和从点云导出的3D表示。据我们所知，ZOPP代表了多模态全景感知与自动驾驶场景自动标注领域的一项开创性努力。我们在Waymo开放数据集上进行了全面的实证研究和评估，以验证所提出的ZOPP在各种感知任务上的有效性。为进一步探索所提ZOPP的可用性和可扩展性，我们还在下游应用中进行了实验。结果进一步证明了ZOPP在真实场景中的巨大潜力。