利用反事实评估深度神经网络的系统性弱点

随着 DNN 进入安全关键应用，针对此类模型的测试方法受到更多关注。当前的一个方向是搜索并识别系统性弱点，这些弱点使基于平均性能值的安全假设面临风险。此类弱点可表现为输入空间中（语义连贯的）子集或区域，其中 DNN 的系统性能低于其预期平均值。然而，将观察到的低性能原因归因于描述该子集的特定语义特征并非易事。例如，数据中关于其他（未考虑的）属性的非均匀性可能扭曲结果。然而，考虑所有（可用的）属性及其交互通常在计算上极其昂贵。受反事实解释的启发，我们提出一种有效且计算廉价的算法来验证已有子集的语义归因，即检查所识别的属性是否可能导致性能下降。我们在自动驾驶领域的一个示例上展示了该方法，使用高度标注的模拟数据，其中我们针对一个语义分割模型表明：(i) 不同行人资源之间存在性能差异，但 (ii) 仅在部分情况下资源类型本身是造成性能降低的原因。