通过折叠数据流形中的特征维度测量神经网络的特征依赖性

本文介绍了一种测量神经网络模型特征依赖性的新技术。其动机是通过查询模型是否使用来自人类可理解特征（例如解剖形状、体积或图像纹理）的信息来更好地理解模型。我们的方法基于以下原则：如果模型依赖于某个特征，那么移除该特征应显著损害其性能。通过将数据分布中对应于该特征的维度折叠来“移除”目标特征。我们通过将数据点沿特征维度移动到基线特征值，同时保持在数据流形上（由深度生成模型估计）来实现这一点。然后我们观察模型在修改后的测试数据集（移除了目标特征维度）上的性能变化。我们在已知真实标签的合成图像数据、使用OASIS-3数据集的MRI和海马分割的阿尔茨海默病预测任务以及使用Lizard数据集的细胞核分类任务上测试了我们的方法。