WEDGE：基于生成式视觉-语言模型构建的多天气自动驾驶数据集
计算机视觉与模式识别
2023-05-15 v1 人工智能
摘要
开放道路对自动驾驶感知提出诸多挑战，包括极端天气条件下的能见度低下。在良好天气数据集上训练的模型常在这些分布外场景中检测失败。为辅助感知的对抗鲁棒性，我们引入 WEDGE（WEather images by DALL-E GEneration）：一个通过提示由视觉-语言生成模型合成的_dataset。WEDGE 包含 16 种极端天气条件下的 3360 张图像，人工标注了 16513 个边界框，支持天气分类与 2D 目标检测任务的研究。我们从研究视角分析了 WEDGE，验证其在极端天气自动驾驶感知中的有效性。我们建立了分类与检测的基线性能，测试准确率为 53.87%，mAP 为 45.41。最重要的是，WEDGE 可用于微调最先进的检测器，在真实世界天气基准（如 DAWN）上将 SOTA 性能提升 4.48 AP（针对卡车等生成良好的类别）。WEDGE 依据 OpenAI 使用条款收集，并在 CC BY-NC-SA 4.0 许可下公开发布。本工作与数据集的代码库位于 https://infernolia.github.io/WEDGE。
引用
@article{arxiv.2305.07528,
title = {WEDGE: A multi-weather autonomous driving dataset built from generative vision-language models},
author = {Aboli Marathe and Deva Ramanan and Rahee Walambe and Ketan Kotecha},
journal= {arXiv preprint arXiv:2305.07528},
year = {2023}
}
备注
Accepted in Vision Datasets Understanding at CVPR 2023