CoSy：评估神经元的文本解释

理解深度神经网络（DNN）复杂性的一个关键方面是能够解释其潜在表征中学到的概念。虽然存在将神经元连接到人类可理解的文本描述的方法，但由于缺乏统一的定量方法，评估这些解释的质量具有挑战性。我们引入了CoSy（概念合成），一个新颖的、架构无关的框架，用于评估潜在神经元的文本解释。给定文本解释，我们提出的框架使用以文本输入为条件的生成模型来创建代表这些解释的数据点。通过比较神经元对这些生成数据点和控制数据点的响应，我们可以估计解释的质量。我们通过健全性检查验证了我们的框架，并对计算机视觉任务的多种神经元描述方法进行了基准测试，揭示了质量的显著差异。