数据增强在轨道目标检测中有多大作用？
计算机视觉与模式识别
2024-10-22 v1
摘要
我们探讨了数据增强在空间中计算机视觉任务中弥合领域差距的有效性，这对于像轨道服务这样的自主操作至关重要。随着计算机视觉在太空中的应用增多，敌对照明和低信噪比等挑战显著阻碍了性能。虽然基于学习的算法显示出有前景的成果，但其采纳受限于需要大量标注训练数据以及由合成与真实图像差异引起的领域差距。本研究从数据增强的角度探讨领域泛化问题——包括经典的颜色和几何变换、噪声和损坏，以增强模型在领域差距上的性能。为此，我们使用包含数百种不同配置的超参数优化管道进行大规模实验，搜索最佳配置以弥合领域差距。作为参考任务，我们使用 2D 目标检测，并在包含真实硬件-in-the-loop 卫星图像的测试集上的 SPEED+ 数据集上进行评估。此外，我们评估了四种流行的目标检测器，包括 Mask R-CNN、Faster R-CNN、YOLO-v7 和开放集检测器 GroundingDINO，并指出其在性能、推理速度和训练时间之间的权衡。我们的结果凸显了数据增强在弥合领域差距方面的关键作用，提高了模型在关键太空应用中的性能、鲁棒性和可靠性。因此，我们提出了两种新型数据增强方法，专为模拟轨道图像中观察到的视觉效果而开发。我们建议为发展具有挑战性轨道环境中的计算机视觉所需的最有效增强方法。训练目标检测器和超参数搜索的代码将公开提供。
引用
@article{arxiv.2410.15766,
title = {How Important are Data Augmentations to Close the Domain Gap for Object Detection in Orbit?},
author = {Maximilian Ulmer and Leonard Klüpfel and Maximilian Durner and Rudolph Triebel},
journal= {arXiv preprint arXiv:2410.15766},
year = {2024}
}