Expand-and-Cluster：神经网络的参数恢复
神经与进化计算
2024-06-28 v4
摘要
我们能否通过探测神经网络的输入输出映射来辨识其权重？初看之下，由于置换、过参数化以及激活函数对称性，该问题似乎有许多解。然而，我们证明每个神经元的输入权重向量在符号或缩放意义下是可辨识的，具体取决于激活函数。我们的新方法'Expand-and-Cluster'能够针对所有常用激活函数辨识目标网络的层数与权重。Expand-and-Cluster由两阶段组成：(i) 为松弛非凸优化问题，我们训练多个过参数化学生网络以最佳模仿目标函数；(ii) 为逆向工程目标网络的权重，我们采用一种特设聚类过程来揭示学生间共享的学习权重向量——这些对应于目标权重向量。我们展示了对训练好的浅层与深层网络成功的权重与规模恢复，层规模开销小于10%，并通过分析150个可变难度的合成问题刻画了一条'可辨识性难易'轴。
引用
@article{arxiv.2304.12794,
title = {Expand-and-Cluster: Parameter Recovery of Neural Networks},
author = {Flavio Martinelli and Berfin Simsek and Wulfram Gerstner and Johanni Brea},
journal= {arXiv preprint arXiv:2304.12794},
year = {2024}
}
备注
Accepted paper at ICML '24