深度神经网络的“无损”压缩：一种高维神经正切核方法

现代深度神经网络（DNNs）极其强大，但这以增加深度和每层更多参数为代价，使其训练和推理在计算上更具挑战性。为了解决这一关键局限性，人们致力于压缩（例如稀疏化和/或量化）这些大规模机器学习模型，以便它们可以部署在低功耗物联网设备上。在本文中，基于神经正切核（NTK）和随机矩阵理论（RMT）的最新进展，我们提出了一种针对宽且全连接深度神经网络的新颖压缩方法。具体而言，我们证明了在高维机制下，即数据点数量 $n$ 及其维度 $p$ 均很大，且在数据服从高斯混合模型的假设下，对于一大类 DNN 模型，其 NTK 矩阵之间存在渐近谱等价性。这一理论结果使得可以对给定的 DNN 执行“无损”压缩，即压缩后的网络产生与原始（稠密且未量化）网络渐近相同的 NTK，其权重和激活值仅在缩放后取值于 $\{ 0, \pm 1 \}$。我们在合成数据和真实世界数据上进行的实验支持了所提出压缩方案的优势，代码可在 \url{https://github.com/Model-Compression/Lossless_Compression} 获取。