基于图的神经网络表征相似性
机器学习
2022-05-26 v2
摘要
理解深度神经网络（DNN）中的黑盒表征是深度学习中的一个基本问题。在本工作中，我们提出基于图的相似性（GBS）来度量层特征的相似性。与以往直接在特征图上计算相似性的工作不同，GBS 基于由隐藏层输出构建的图来度量相关性。通过将每个输入样本视为节点、将相应的层输出相似性视为边，我们为每一层构建 DNN 表征的图。层间图的相似性辨识了在不同数据集和初始化下训练的模型表征之间的对应关系。我们展示并证明了 GBS 的不变性性质，包括正交变换不变性和各向同性缩放不变性，并将 GBS 与 CKA 进行比较。GBS 在反映相似性方面展现出最先进的性能，并为解释隐藏层空间上对抗样本的行为提供了见解。
引用
@article{arxiv.2111.11165,
title = {Graph-Based Similarity of Neural Network Representations},
author = {Zuohui Chen and Yao Lu and Jinxuan Hu and Wen Yang and Qi Xuan and Zhen Wang and Xiaoniu Yang},
journal= {arXiv preprint arXiv:2111.11165},
year = {2022}
}