通过自然与对抗局部损伤对 DNN 空间鲁棒性进行基准测试

深度神经网络的鲁棒性是安全关键应用中的重要因素，尤其是在复杂动态环境（如医疗或驾驶场景）中可能出现局部损伤。虽然已有研究在整图自然或对抗损伤下评估语义分割（SS）模型的鲁棒性，但针对密集视觉模型在局部损伤下的空间鲁棒性的系统性调查仍不足。本文填补了这一空白，提出了用于评估分割模型空间鲁棒性的新型区域感知指标，以及评估自然局部损伤影响的评估框架。此外，本文发现仅通过单一局部对抗攻击难以评估最坏情况下的空间鲁棒性。为此，提出了区域感知的多攻击对抗分析，以系统性评估特定图像区域的模型鲁棒性。所提指标与分析被用于评估驾驶场景下的 14 个分割模型，揭示了局部损伤在自然与对抗形式下对模型的影响。结果表明，这两种威胁对模型的响应方式不同；例如，基于 Transformer 的分割模型对局部自然损伤表现出显著鲁棒性，但对对抗损伤极其脆弱，而 CNN 基模型则相反。因此，我们还通过集成模型实现对这两种自然与对抗局部损伤鲁棒性的平衡，从而实现更广泛的威胁覆盖范围和更高的密集视觉任务可靠性。