SUSTechGAN:用于自主驾驶恶劣环境下目标检测的数据生成
计算机视觉与模式识别
2024-12-24 v2 人工智能
摘要
自主驾驶从数据驱动的深度神经网络中受益匿浆。然而,自主驾驶的数据通常符合长尾分布,其中在恶劣环境下的关键驾驶数据难以收集。虽然生成对抗网络(GANs)已被应用于自主驾驶数据增强,但在恶劣环境下生成驾驶图像仍具有挑战性。本文提出一种新框架 SUSTechGAN,采用定制化的双注意力模块、多尺度生成器以及新型损失函数,用于生成改善自主驾驶恶劣环境下目标检测的驾驶图像。我们测试 SUSTechGAN 和众所周知的 GANs 在雨天和夜晚恶劣环境下生成驾驶图像,并将生成图像用于重新训练目标检测网络。具体而言,我们将生成图像添加到训练数据集中,以重新训练著名的 YOLOv5,并评估重新训练的 YOLOv5 在恶劣环境下的目标检测性能提升。实验结果表明,由 SUSTechGAN 生成的驾驶图像在雨天和夜晚条件下显著提高了重新训练的 YOLOv5的性能,而该方法优于众所周知的 GANs。该项目的开源代码、视频描述和数据集均已在第 1 页提供,以促进自主驾驶在恶劣条件下图像生成开发。
引用
@article{arxiv.2408.01430,
title = {SUSTechGAN: Image Generation for Object Detection in Adverse Conditions of Autonomous Driving},
author = {Gongjin Lan and Yang Peng and Qi Hao and Chengzhong Xu},
journal= {arXiv preprint arXiv:2408.01430},
year = {2024}
}
备注
10 pages, 9 figures