基于链归一化规则与假设-训练-检验的神经网络权重相似性理解
机器学习
2022-08-10 v1 计算机视觉与模式识别
统计理论
机器学习
统计理论
摘要
我们提出了一种能够量化非凸神经网络权重相似性的度量方法。为理解不同训练模型的权重相似性，我们提出从神经网络权重中提取特征表示。我们首先通过引入链归一化规则对神经网络权重进行归一化，该规则用于权重表示学习和权重相似性度量。我们将传统的假设检验方法扩展为一种假设-训练-检验的统计推断方法，以验证关于神经网络权重相似性的假设。借助链归一化规则和新的统计推断，我们在多层感知机（MLP）、卷积神经网络（CNN）和循环神经网络（RNN）上研究权重相似性度量，发现由随机梯度下降（SGD）算法优化的同一神经网络权重在度量空间中收敛到相似的局部解。权重相似性度量为神经网络的局部解提供了更多见解。在多个数据集上的实验一致验证了权重相似性度量的假设。
引用
@article{arxiv.2208.04369,
title = {Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing},
author = {Guangcong Wang and Guangrun Wang and Wenqi Liang and Jianhuang Lai},
journal= {arXiv preprint arXiv:2208.04369},
year = {2022}
}
备注
Weight Similarity of Neural Networks