利用变分参数指数级更少的张量网络压缩神经网络

为挑战性机器学习任务设计的神经网络（NN）通常是包含海量变分参数的高度非线性映射。若不受限制，NN 的高复杂度可能不可预测地引发严重问题，包括过拟合、泛化能力丧失以及难以承受的硬件成本。在本工作中，我们提出一种通用压缩方案，通过将 NN 的变分参数编码到具有指数级更少自由参数的深度自动可微分张量网络（ADTN）中，显著减少 NN 的变分参数，无论其具体类型（线性、卷积等）如何。我们的方案在多个广受认可的 NN（FC-2、LeNet-5、AlextNet、ZFNet 和 VGG-16）和数据集（MNIST、CIFAR-10 和 CIFAR-100）上展示了卓越的压缩性能。例如，我们将 VGG-16 中约 $10^{7}$ 个参数的两个线性层压缩为仅含 424 个参数的两个 ADTN，并将 CIFAR-10 上的测试准确率从 $90.17\%$ 提升至 $91.74\%$。我们认为，与主要基于张量分解/因式分解和浅层张量网络的现有压缩方案相比，ADTN 的深度结构是其卓越压缩性能的关键原因。我们的工作表明，深度张量网络是表示 NN 变分参数的极其高效的数学结构，相较于常用的矩阵和多维数组具有更优的可压缩性。