神经网络表示的相似性与匹配
机器学习
2021-10-28 v1
摘要
我们采用一套被称为Dr. Frankenstein的工具集来分析深度神经网络中表示的相似性。借助该工具集，我们旨在通过以拼接层连接两个已训练神经网络，匹配其在给定层上的激活。我们证明，具有相同架构但不同初始化的深度卷积神经网络中涌现的内部表示，即便仅用单层仿射拼接层，也能以惊人高精度匹配。我们从若干可能的线性变换类中选取拼接层，并考察其性能与性质。表示匹配任务与相似性概念密切相关。利用该工具集，我们还就当前关于神经网络表示相似性指标的研究脉络提供了一种新视角：基于任务性能的视角。
引用
@article{arxiv.2110.14633,
title = {Similarity and Matching of Neural Network Representations},
author = {Adrián Csiszárik and Péter Kőrösi-Szabó and Ákos K. Matszangosz and Gergely Papp and Dániel Varga},
journal= {arXiv preprint arXiv:2110.14633},
year = {2021}
}
备注
To appear in the Thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021)