基于梯度的神经网络相似性
机器学习
2020-03-26 v1 机器学习
摘要
合适的相似性指标对于比较已训练神经网络至关重要，有助于理解高度非线性函数的行为，并为进一步理论分析与实证研究提供洞见。我们定义比较模型时的两个关键步骤：首先，从所学模型抽象出的表示，我们提议将特征向量与梯度向量（既往工作多忽视后者）一并用于设计神经网络的表示；其次，我们定义所采用的具有期望不变性性质的相似性指标，并借助草图技术高效比较不同数据集。实证上，我们表明所提方法为计算在不同数据集及数据集所定义任务上独立训练的神经网络相似性提供了最先进的方法。
引用
@article{arxiv.2003.11498,
title = {Similarity of Neural Networks with Gradients},
author = {Shuai Tang and Wesley J. Maddox and Charlie Dickens and Tom Diethe and Andreas Damianou},
journal= {arXiv preprint arXiv:2003.11498},
year = {2020}
}