重访模型拼接以比较神经网络表征
机器学习
2021-06-16 v1 机器学习
摘要
我们重访并扩展了模型拼接（Lenc & Vedaldi 2015）作为一种研究神经网络内部表征的方法论。给定两个已训练且冻结的模型 和 ，我们考虑一个“拼接模型”，由将 的底层连接到 的顶层构成，两者之间有一个简单的可训练层。我们认为模型拼接是一个强大且或许未被充分重视的工具，它揭示了诸如中心核对齐（CKA）等度量无法揭示的表征方面。通过大量实验，我们使用模型拼接对诸如“好的网络学习相似的表征”这类直观陈述获得定量验证，方法是证明相同架构但以非常不同方式训练（例如：监督式 vs. 自监督学习）的好网络可以相互拼接而不损失性能。我们还为“越多越好”的直觉提供证据，表明用（1）更多数据、（2）更大宽度或（3）更长训练时间学习到的表征可以被“插入”到较弱模型中以提升性能。最后，我们的实验揭示了 SGD 的一个新结构性质，我们称之为“拼接连通性”，类似于模式连通性：SGD 达到的典型极小点都可以相互拼接，且精度变化极小。
引用
@article{arxiv.2106.07682,
title = {Revisiting Model Stitching to Compare Neural Representations},
author = {Yamini Bansal and Preetum Nakkiran and Boaz Barak},
journal= {arXiv preprint arXiv:2106.07682},
year = {2021}
}