迈向利用一系列神经激活以理解表征关联

近期为理解深度神经网络中的中间表征，常尝试通过检查极值神经元激活和最高方向投影来标记单个神经元和构成潜在空间线性方向的神经元组合。本文表明，尽管该方法对许多目的产生良好近似，但未能捕捉表征行为的有价值信息。神经网络激活通常是稠密的，更复杂且现实的场景是线性方向在各种刺激水平编码信息。我们假设非极值水平激活包含值得研究的复杂信息，如统计关联，因此可用于定位混淆的人类可解释概念。我们通过中层输出神经元激活的案例探索研究一系列神经元激活的价值，并在合成数据集上展示它们如何揭示仅通过分析最大激活不明显的倒数第二层表征方面。我们利用发现开发了一种方法，从中等范围logit样本中筛选数据用于重新训练，以减轻真实基准数据集上倒数第二层中的虚假相关或混淆概念。该方法的成功体现了检查非最大激活以提取模型学到的复杂关系的实用性。