基于空旷校准的多义神经元解构与因果块干预
机器学习
2025-08-26 v1 计算机视觉与模式识别
摘要
神经网络常包含多义神经元，这些神经元对多个或无关特征作出响应，使机理解释性变得复杂。我们引入多义指数 (PSI)，一种空旷校准的度量标准，用于量化神经元顶级激活分解为语义上distinct 聚类的情况。PSI 将三个独立校准的组成部分相乘：几何聚类质量 (S)、与标记类别的对齐 (Q) 以及通过 CLIP 的开放词汇语义distinctness。以在 Tiny-ImageNet 图像上评估的预训练 ResNet-50 为例，PSI 识别出其激活集分为具有一致性、可命名原型的神经元，并揭示了深度趋势：后层显著高于前层。我们通过鲁棒性检查（varying hyperparameters, random seeds, 和 cross-encoder text heads）、广度分析（比较仅类别 vs. 开放词汇概念）以及因果块交换干预来验证该方法。特别是，对齐块替换比非对齐、随机、乱序位置或抑制其他位置的控制显著更能激活目标神经元。因此，PSI 为发现、量化和研究神经网络中的多义单元提供了原则且实用的杠杆。
引用
@article{arxiv.2508.16950,
title = {Disentangling Polysemantic Neurons with a Null-Calibrated Polysemanticity Index and Causal Patch Interventions},
author = {Manan Gupta and Dhruv Kumar},
journal= {arXiv preprint arXiv:2508.16950},
year = {2025}
}
备注
Under review. 13 pages