面向基于张量分解的 DNN 模型高效压缩的优化框架
计算机视觉与模式识别
2021-07-28 v1 人工智能
摘要
先进的张量分解，如张量列（TT）与张量环（TR），已被广泛研究用于深度神经网络（DNN）模型压缩，尤其是循环神经网络（RNNs）。然而，使用 TT/TR 压缩卷积神经网络（CNNs）总是伴随显著的精度损失。在本文中，我们提出一种利用交替方向乘子法（ADMM）的基于张量分解的模型压缩系统框架。通过将基于 TT 分解的模型压缩表述为带有张量秩约束的优化问题，我们利用 ADMM 技术以迭代方式系统性求解该优化问题。在此过程中，整个 DNN 模型以原始结构而非 TT 格式进行训练，但逐渐具备所需的低张量秩特性。随后我们将此未压缩模型分解为 TT 格式并微调，最终获得高精度的 TT 格式 DNN 模型。我们的框架非常通用，适用于 CNN 与 RNN，并可轻易修改以适配其他张量分解方法。我们在不同 DNN 模型上针对图像分类与视频识别任务评估所提框架。实验结果表明，我们基于 ADMM 的 TT 格式模型展现出极高的压缩性能与高准确率。值得注意的是，在 CIFAR-100 上，以 2.3 倍与 2.4 倍压缩率，我们的模型分别比原始 ResNet-20 与 ResNet-32 的 top-1 准确率高 1.96% 与 2.21%。在 ImageNet 上压缩 ResNet-18 时，我们的模型实现了 2.47 倍 FLOPs 削减而无精度损失。
引用
@article{arxiv.2107.12422,
title = {Towards Efficient Tensor Decomposition-Based DNN Model Compression with Optimization Framework},
author = {Miao Yin and Yang Sui and Siyu Liao and Bo Yuan},
journal= {arXiv preprint arXiv:2107.12422},
year = {2021}
}
备注
This paper was accepted to CVPR'21