神经表示空间中的规范自由与度量依赖性

神经网络表示常被分析为固定欧几里得空间中的向量。然而，它们的坐标并非唯一定义。若对隐藏表示应用可逆线性变换，仅需对下游权重施加逆变换即可保持网络函数不变。因此，表示仅在可逆线性变换意义下定义。我们从几何视角研究神经表示空间，将其视为在一般线性群下具有规范自由的向量空间。在此框架下，诸如余弦相似性等常用相似性度量都成为度量依赖的量，其数值会在保持模型函数不变的坐标变换下发生变化。这为文献中几类观察提供了统一解释，包括余弦相似性不稳定性、嵌入空间的各向异性，以及对表示比较方法如 SVCCA 和 CKA 的吸引力。对多层感知器和卷积网络的实验表明，在训练好的模型中插入可逆变换会显著扭曲余弦相似性和最近邻结构，而预测结果保持不变。这些结果表明，神经表示的分析应聚焦于该规范自由下的不变量，或明确选择规范坐标。