自适应敏感性分析用于图像分割中针对自然损坏的鲁棒增强

由于像素级分类的细粒度特性，实现图像分割模型的鲁棒性具有挑战性。这些模型对于许多实时感知应用至关重要，尤其是在面对野外自然损坏时，自主系统难以应对。虽然敏感性分析可以帮助我们理解输入变量如何影响模型输出，但将其应用于训练数据中的自然且不可控的损坏在计算上非常昂贵。在这项工作中，我们提出了一种自适应的、敏感性引导的数据增强方法，以增强对自然损坏的鲁棒性。我们的敏感性分析平均运行速度比之前的敏感性分析快10倍，且存储需求减少约200倍，从而能够在训练期间实现实用的、即时的估计，用于无模型增强策略。通过最少的微调，与图像分割中最先进的数据增强技术相比，我们的敏感性引导增强方法在真实世界和合成数据集上都实现了改进的鲁棒性。本工作的代码实现可在以下网址找到：https://github.com/laurayuzheng/SensAug。