神经网络功能相似度度量：通过激活区域分析克服参数歧义
机器学习
2026-04-21 v1
摘要
随着深度学习架构复杂度的提升，表征歧义已成为可解释性和可靠合并的关键障碍。对于 ReLU 网络，由于代数对称性（神经元置换和正对角缩放），可以完全不同的权重配置实现相同的功能映射。因此，传统基于参数的比较方法对训练中的轻微权重扰动极其不稳定。本文提出了一种在神经网络上构建稳定规范表示和稳健功能相似度度量的数学依据方法。我们转向关注神经元激活区域的拓扑结构。该算法首先通过 L2 归一化权重向量并随后层补偿消除缩放歧义。接着生成离散化的激活区域作为在数据样本上评估的二进制功能签名。为克服大型二进制向量比较的计算瓶颈，我们采用局部敏感哈希技术，即 MinHash，为 Jaccard 指数提供快速且统计上精确的近似。最终的跨网络神经元匹配问题可通过 Hungarian 算法求解线性和数分配问题。我们在理论和实验上表明，该度量能缓解神经元“闪烁”效应，并对轻微权重扰动具有卓越的鲁棒性。该框架为模型合并、迁移学习、修剪中的客观评估以及可解释 AI 范式提供了坚实基础。
引用
@article{arxiv.2604.16426,
title = {Functional Similarity Metric for Neural Networks: Overcoming Parametric Ambiguity via Activation Region Analysis},
author = {Kutomanov Hennadii},
journal= {arXiv preprint arXiv:2604.16426},
year = {2026}
}
备注
90 pages, 3 figures, 3 tables