面向人的神经网络概念解释

在各种应用中，通过解释来理解深度神经网络等复杂机器学习模型至关重要。许多解释源于模型视角，未必能在恰当的抽象层次上有效传达模型为何做出其预测。例如，为图像中单个像素提供重要性权重只能表达该特定图像的哪些部分对模型重要，但人类可能更倾向于通过基于概念思维的解释来说明预测。在这项工作中，我们综述了新兴的基于概念的解释领域。我们首先介绍概念解释，包括一类概念激活向量（CAV），其通过在神经激活的适当空间中用向量刻画概念，并讨论有用概念的不同性质以及衡量概念向量有用性的方法。然后我们讨论自动提取概念的方法，以及解决其中某些缺陷的途径。最后，我们讨论一些案例研究，展示了此类基于概念的解释在合成环境和真实世界应用中的效用。