人工合成损坏是否是可靠的真实世界损坏代理？
计算机视觉与模式识别
2025-05-09 v1
摘要
深度学习（DL）模型广泛用于实际应用，但仍然对分布偏移特别敏感，尤其是由于天气和光照变化。为测试DL模型的鲁棒性，收集多样化的真实世界数据资源密集，这使得人工合成损坏成为一种吸引人的替代方案。然而，人工合成损坏是否是可靠的真实世界损坏代理？为回答此问题，我们进行了最大规模的语义分割模型基准测试研究，比较了在真实世界损坏和人工合成损坏数据集上的性能。我们的结果显示平均性能之间存在强相关性，支持将人工合成损坏用于鲁棒性评估。我们进一步分析了损坏特定的相关性，为理解何时人工合成损坏成功代表真实世界损坏提供了关键见解。开源代码：https://github.com/shashankskagnihotri/benchmarking_robustness/tree/segmentation_david/semantic_segmentation
引用
@article{arxiv.2505.04835,
title = {Are Synthetic Corruptions A Reliable Proxy For Real-World Corruptions?},
author = {Shashank Agnihotri and David Schader and Nico Sharei and Mehmet Ege Kaçar and Margret Keuper},
journal= {arXiv preprint arXiv:2505.04835},
year = {2025}
}
备注
Accepted at CVPR 2025 Workshop on Synthetic Data for Computer Vision