SynDiff-AD：基于潜在扩散模型的语义分割与端到端自动驾驶数据增强
计算机视觉与模式识别
2025-10-16 v2
摘要
近年来，为提高分割和自动驾驶模型的性能，人们取得了大量数据收集方面的进展。这些大规模数据集通常以常见环境条件（如“晴好天气”）为主，导致在欠代表征条件（如“雨天夜晚”）下的模型性能下降。为此，我们提出SynDiff-AD，这是一套新颖的数据增强管线，利用扩散模型生成此类子群组的逼真图像。SynDiff-AD 使用一种引导数据生成的 ControlNet 扩散模型，其条件化为语义图，并配合新颖的提示方案生成子群组特定且语义密集的提示。通过 SynDiff-AD 增强后的数据集，我们将语义分割模型如 Mask2Former 和 SegFormer 在 Waymo 数据集上提升最高可达 1.2% 和 2.3%，在 DeepDrive 数据集上提升最高可达 1.4% 和 0.7%。此外，我们展示了 SynDiff-AD 管线在 CARLA 自动驾驶模拟器中对端到端自动驾驶模型（如 AIM-2D 和 AIM-BEV）在多样化环境条件下的鲁棒性提升最高可达 20%。我们将在 https://github.com/UTAustin-SwarmLab/SynDiff-AD 发布代码与管线。
引用
@article{arxiv.2411.16776,
title = {SynDiff-AD: Improving Semantic Segmentation and End-to-End Autonomous Driving with Synthetic Data from Latent Diffusion Models},
author = {Harsh Goel and Sai Shankar Narasimhan and Oguzhan Akcin and Sandeep Chinchali},
journal= {arXiv preprint arXiv:2411.16776},
year = {2025}
}
备注
15 pages, 10 figures