发现 Vision Transformer 中的关键神经元路径

Vision Transformer 模型展现出强大的能力，但对人类理解而言仍不透明，这给实际应用带来了挑战与风险。尽管先前的研究试图通过输入归因和神经元角色分析来揭示这些模型，但在考虑层间信息及跨层信息流的整体路径方面仍存在明显不足。本文研究了 vision Transformer 中关键神经元路径的重要性，该路径是从模型输入到输出的一系列对模型推理影响最大的神经元。我们首先提出了一种联合影响度量来评估一组神经元对模型结果的贡献。我们进一步提供了一种逐层神经元定位方法，在每一层高效地选择最具影响力的神经元，试图在目标模型内发现从输入到输出的关键神经元路径。实验表明，在寻找信息流经的最具影响力的神经元路径方面，我们的方法优于现有的基线方案。此外，神经元路径表明，vision Transformer 在处理同一图像类别内的视觉信息时展现出特定的内部工作机制。我们进一步分析了这些神经元在图像分类任务中的关键作用，表明所发现的神经元路径已在下游任务中保留了模型能力，这也可能为模型剪枝等实际应用提供启示。包含实现代码的项目网站位于 https://foundation-model-research.github.io/NeuronPath/。