深度视觉特征的自然语言描述

深度网络中的某些神经元专门识别输入中高度特定的感知、结构或语义特征。在计算机视觉中，已有技术用于识别对颜色、纹理和物体类别等单个概念类别响应的神经元。但这些技术范围有限，仅能标注任何网络中神经元和行为的一小部分。是否可能对神经元级计算进行更丰富的刻画？我们引入了一种过程（称为MILAN，即互信息引导的神经元语言标注），可自动用开放式、组合式的自然语言描述标注神经元。给定一个神经元，MILAN通过搜索使与神经元激活的图像区域的点互信息最大化的自然语言字符串来生成描述。MILAN生成细粒度描述，捕捉所学特征中的类别、关系和逻辑结构。这些描述在多种模型架构和任务上与人类生成的特征描述高度一致，并有助于理解和控制所学模型。我们突出了自然语言神经元描述的三种应用。首先，我们使用MILAN进行分析，刻画视觉模型中选择属性、类别和关系信息的神经元的分布与重要性。其次，我们使用MILAN进行审计，在旨在掩盖人脸的数据集中暴露对人脸敏感的神经元。最后，我们使用MILAN进行编辑，通过删除与类标签虚假相关的文本特征敏感的神经元，提高图像分类器的鲁棒性。