学习生成训练数据集以提升语义分割鲁棒性
计算机视觉与模式识别
2024-03-14 v4 机器学习
摘要
语义分割方法已取得显著进展。然而，其对真实世界扰动及训练时未见物体类型的鲁棒性仍具挑战，尤其在安全关键应用中。我们提出一种新方法，通过利用标签到图像生成器与图像到标签分割模型之间的协同作用来提升语义分割技术的鲁棒性。具体而言，我们设计了Robusta，一种新颖的鲁棒条件生成对抗网络，用于生成真实且合理的扰动图像，以训练可靠的分割模型。我们对所提生成模型进行了深入研究，评估了下游分割网络的性能与鲁棒性，并证明我们的方法能显著增强面对真实世界扰动、分布偏移和分布外样本时的鲁棒性。结果表明，该方法在安全关键应用中具有价值，此类应用中语义分割等感知模块的可靠性至关重要且推理计算预算有限。代码发布于 https://github.com/ENSTA-U2IS-AI/robusta。
引用
@article{arxiv.2308.02535,
title = {Learning to Generate Training Datasets for Robust Semantic Segmentation},
author = {Marwane Hariat and Olivier Laurent and Rémi Kazmierczak and Shihao Zhang and Andrei Bursuc and Angela Yao and Gianni Franchi},
journal= {arXiv preprint arXiv:2308.02535},
year = {2024}
}
备注
Published as a conference paper at WACV 2024