理解感知模型在图像中区域依赖性

尽管深度神经网络(DNN)基于的感知模型在许多应用中很有用，但这些模型是黑箱，其输出尚未得到充分理解。要在没有人工干预的情况下可靠地将此类感知模型用于实际决策系统，我们必须使系统能够推断感知模型的 competency 水平并在模型无能时作出恰当的响应。为了使系统在模型无能时能够做出明智的决策，它有用的是让系统理解导致模型无能的原因。我们探索了五种新颖的方法来识别导致低模型 competency 的输入图像区域，这些方法分别称为图像裁剪、分段遮蔽、像素扰动、competency梯度和重构损失。我们评估了这五种方法识别不熟悉物体、识别与未见类别相关的区域以及识别环境中未探索区域的能力。我们发现，competency梯度和重构损失方法在识别与低模型 competency 相关的区域方面表现出巨大的潜力，特别是在导致此 competency 降低的图像方面不熟悉时。这两种方法计算时间短，准确率高，能够检测到模型不熟悉的图像区域，从而在决策管道中提供潜在实用性。我们的方法和结果的代码可在GitHub上获取: https://github.com/sarapohland/explainable-competency。