压缩深度网络：告别 SVD，迎接鲁棒低秩近似

压缩神经网络的常用技术是计算对应于全连接层（或嵌入层）的矩阵 $A\in\mathbb{R}^{n\times d}$ 的 $k$ 秩 $\ell_2$ 近似 $A_{k,2}$。这里，$d$ 是该层神经元数量，$n$ 是下一层的数量，且 $A_{k,2}$ 可以 $O((n+d)k)$ 而非 $O(nd)$ 的内存存储。该 $\ell_2$ 近似在秩为 $k$ 的每一个矩阵 $A_{k,2}\in\mathbb{R}^{n\times d}$ 中，最小化矩阵 $A - A_{k,2}$ 中每个元素 $p=2$ 次幂的和。虽然它可通过 SVD 高效计算，但已知 $\ell_2$ 近似对离群值（“远距”行）非常敏感。因此，机器学习使用例如 Lasso 回归、$\ell_1$ 正则化和 $\ell_1$-SVM 这些使用 $\ell_1$ 范数的方法。本文建议用 $\ell_p$ 替代 $k$ 秩 $\ell_2$ 近似，其中 $p\in [1,2]$。然后我们基于计算几何中的现代技术，提供了实用且可证明的近似算法来对任意 $p\geq1$ 计算它。在 GLUE 基准上针对压缩 BERT、DistilBERT、XLNet 和 RoBERTa 的广泛实验结果证实了这一理论优势。例如，我们的方法在 GLUE 所有任务上平均仅造成 $0.63\%$ 的精度附加下降（无需微调）的情况下实现了 RoBERTa 嵌入层 $28\%$ 的压缩，而使用现有 $\ell_2$ 近似则下降 $11\%$。我们提供了开源代码以复现和扩展我们的结果。