ELRT：用于紧凑卷积神经网络的高效低秩训练
计算机视觉与模式识别
2024-01-22 v1 人工智能
摘要
低秩压缩是一种流行的模型压缩技术，可产生具有低秩性的紧凑卷积神经网络（CNNs），在文献中已得到充分研究。另一方面，低秩训练作为一种从头开始训练低秩 CNNs 的替代方法，目前还鲜有探索。与低秩压缩不同，低秩训练不需要预训练的全秩模型，并且整个训练阶段始终在低秩结构上进行，这为实际应用带来了诱人的好处。然而，现有的低秩训练解决方案仍然面临一些挑战，例如精度显著下降和/或在训练期间仍需更新全尺寸模型。在本文中，我们对低秩 CNN 训练进行了系统的研究。通过确定合适的低秩格式和提升性能的策略，我们提出了 ELRT，一种用于高精度、高紧凑性、低秩 CNN 模型的高效低秩训练解决方案。我们在不同数据集上训练各种 CNNs 的广泛评估结果证明了 ELRT 的有效性。
引用
@article{arxiv.2401.10341,
title = {ELRT: Efficient Low-Rank Training for Compact Convolutional Neural Networks},
author = {Yang Sui and Miao Yin and Yu Gong and Jinqi Xiao and Huy Phan and Bo Yuan},
journal= {arXiv preprint arXiv:2401.10341},
year = {2024}
}