两层神经网络压缩的精确渐近分析
信息论
2022-08-17 v4 机器学习
math.IT
机器学习
摘要
本文研究将具有 N 个节点的目标两层神经网络压缩为具有 M<N 个节点的压缩网络。更准确地说，我们考虑目标网络权重为独立同分布亚高斯分布的情形，并在高斯输入的假设下，最小化目标网络与压缩网络输出之间的总体 L_2 损失。通过使用高维概率工具，我们证明当目标网络充分过参数化时，这一非凸问题可以被简化，并给出了该近似的误差率作为输入维度和 N 的函数。在此平均场极限下，简化后的目标函数以及压缩网络的最优权重不依赖于目标网络的具体实现，而仅取决于期望的缩放因子。此外，对于具有 ReLU 激活的网络，我们推测该简化优化问题的最优解可通过在等角紧框架（ETF）上取权重来实现，而权重的缩放和 ETF 的方向取决于目标网络的参数。我们提供了数值证据来支持这一推测。
引用
@article{arxiv.2205.08199,
title = {Sharp asymptotics on the compression of two-layer neural networks},
author = {Mohammad Hossein Amani and Simone Bombari and Marco Mondelli and Rattana Pukdee and Stefano Rini},
journal= {arXiv preprint arXiv:2205.08199},
year = {2022}
}