通过线性层组合实现低秩诱导训练的结构保持网络压缩
机器学习
2024-10-18 v2
摘要
深度神经网络（DNN）在解决许多此前难以解决的任务方面取得了显著成就。然而，与DNN相关联的存储和计算要求对于将这些训练模型部署到资源受限设备而言是一个挑战。因此，近年来提出了大量压缩和剪枝技术。低秩分解技术是最常用的解决方法之一。相对于 post-training compression，推进压缩的训练仍在 under-explored 领域。本文提出一种在理论上得到合理性论证的技术，称为 Low-Rank Induced Training（LoRITa），通过线性层的组合来促进低秩性，并通过奇异值截断实现压缩。这通过标准权重衰减正则化实现，无需在推理时更改结构，也无需进行受限和/或额外优化。此外，LoRITa 消除了 (i) 使用 pre-trained 模型初始化、(ii) 在训练前指定秩选择、(iii) 在每个迭代中计算 SVD 的需求。我们的实验结果 (i) 在 Fully Connected Networks 上使用 MNIST， 在 Vision Transformers 上使用 CIFAR10， 在 Convolutional Neural Networks 上分别使用 CIFAR10/100 和 ImageNet， (ii) 说明我们在 FLOPs 和参数降低方面达到与领先结构化剪枝和低秩训练方法的竞争或最先进结果。我们的代码可在 \url{https://github.com/XitongSystem/LoRITa/tree/main} 获得。
引用
@article{arxiv.2405.03089,
title = {Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition},
author = {Xitong Zhang and Ismail R. Alkhouri and Rongrong Wang},
journal= {arXiv preprint arXiv:2405.03089},
year = {2024}
}